绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
GreenPlum6.x之ETL工具
2023-03-21 17:52:09

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录
前言
一、ETL是什么?
二、数据加载工具GPLoad
1.GPLoad安装部署
2.编写控制文件test.yml
总结
前言
提示:这里可以添加本文要记录的大概内容:

GreenPlum作为一款定位为OLAP系统的分布式数据库平台,具有非常强大的ETL功能,其中存储过程和GPLoad是必须掌握的数据仓库开发工具。

提示:以下是本篇文章正文内容,下面案例可供参考

一、ETL是什么?
ETL是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
ETL 是企业数据应用过程中的一个数据流(pipeline)的控制技术,把原始的数据经过一定的处理,放入数据仓库里。
ETL的目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。


二、数据加载工具GPLoad
1.GPLoad安装部署
代码如下(示例):

#在虚拟机增加了一台做ETL的服务器
192.168.1.200 gpetl

mkdir -p /gpdata/gpadmin/greenplum-db-clients
chown -R hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients

root: yum install apr apr-util bzip2 libyaml libevent rsync

root:
cd /gpdata/gpadmin/greenplum-db-clients
rpm -ivh greenplum-db-clients-6.18.0-rhel7-x86_64.rpm
rpm -ivh --prefix=/gpdata/gpadmin/greenplum-db-clients/ greenplum-db-clients-6.18.1-rhel7-x86_64.rpm

#将软件赋权给实际管理员用户
ls -al
chown -Rf hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients*

#设置环境变量
source /gpdata/gpadmin/greenplum-db-clients/greenplum-db-clients-6.18.1/greenplum_loaders_path.sh


2.编写控制文件test.yml
代码如下(示例):

VERSION: 1.0.0.1
DATABASE: gpdb
USER: gpadmin
HOST: 192.168.1.201
PORT: 5432
GPLOAD:
INPUT:
- SOURCE:
LOCAL_HOSTNAME:
- 192.168.1.200
PORT: 8080
FILE:
- /home/test/test.csv #数据文件路径
- COLUMNS:
- id: INT8
- MAX_LINE_LENGTH: 1000000
- FORMAT: csv
- DELIMITER: ','
- HEADER: true
OUTPUT:
- TABLE: public.t_test #测试表,表中包含字段id 类型为INT8
- MODE: insert
#准备数据文件test.csv
id


#执行gpload
gpload -f test.yml
#成功导入数据则安装成功,否则根据具体提示处理



总结
记录点点滴滴


本文来源:https://blog.csdn.net/panda_225400/article/details/128060981

分享好友

分享这个小栈给你的朋友们,一起进步吧。

Greenplum
创建时间:2022-04-08 15:36:19
Greenplum
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • itt0918
    专家
戳我,来吐槽~