windows server 下使用gpfdist 并行导入数据到 greenplum集群-阿里云开发者社区

开发者社区> whatcat> 正文

windows server 下使用gpfdist 并行导入数据到 greenplum集群

简介: 主要工作是从SQL server 迁库到grennplum
+关注继续查看

          windows server 使用gpfdist教程 

linux 下请参考 linux gpfdist


由于工作需要, 需要将在SQL server 上的数据迁移到Greenplum集群 所以 采取并行导入CSV的工具gpfdist 实现并行导入数据


一、部署安装环境

  首相去官网下载gpload.exe 点击安装  安装路径要记住 

  我的安装路径是D: 盘 gpfdist.exe在 D:\bin\


二、启动windows 服务

2.1 命令行创建服务 win+R 输入 cmd 进入dos窗口

创建服务  这个服务是需要手动启动的   



  1. sc create gpfdist binpath="D:\bin\gpfdist.exe -p 2345 -d D:\data -l D:\load_log"

 参数介绍

  -p 打开的端口 2345

  -d 将要扫描的CSV文件存放路径 

  -l 导入数据的日志文件存放路径  


会提示  



  1. [SC] CreateService 成功


2.2 手动去启动服务  右键 启动  <图片粘贴不进来2.gif>


  2.2.1 打开任务管理器 选择服务 选择底下的 打开服务

  

  

  2.2.2 找到gpfdist 右键 启动服务


到这里服务创建完毕

如果想重新创建新的服务 要先停着这个运行的 gpfdist 服务

然后 在dos 下 执行 即删除服务


  1. sc delete gpfdist

注意事项:

1. 所导入的CSV文件使用的编码格式必须是utf-8 而windows server 存储的格式是 utf-16

  去百度下载一个iconv.exe

  dos下执行如下命令

  iconv -f utf-16 -t utf-8 filename.csv > filename_utf8.csv 

  等一段时间 就ok了

2.确定CSV文件的分隔符 我这里默认是 "," 


------------------------------分割线---------------------------------------------------------------------------------

接下来在greenplum的master节点进行设置

一、 创建外部表  

IP 地址 192.188.100.236 是windows server的IP地址


  1. create external table test_load
  2. {
  3. id int,
  4. name text
  5. }
  6. LOCATION('gpfdist://192.188.100.236:2345/test_utf8.csv')
  7. FORMAT 'csv' (DELIMITER ',');

二、建表

  


  1. create external table test
  2. {
  3. id int,
  4. name text
  5. }
  6. with(OIDS=FALSE) --可以添加多个自己需要的表特性
  7. distributed Randomly; --随机分布


三 导入数据


  1. insert into test select * from test_load;



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
PAI-STUDIO通过Tensorflow处理MaxCompute表数据
PAI-STUDIO在支持OSS数据源的基础上,增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据,本教程将提供完整数据和代码供大家测试。
2550 0
《Greenplum5.0 最佳实践》 迁移数据使用Gptransfer
使用 gptransfer 完成 GPDB 集群间数据迁移任务
4581 0
阿里云ECS的Windows Server 2012 R2使用体验
一、自我情况 二、使用过程 三、心得体会
180 0
Qt编写数据可视化大屏界面电子看板12-数据库采集
一、前言 数据采集是整个数据可视化大屏界面电子看板系统核心功能,没有数据源,这仅仅是个玩具UI,没啥用,当然默认做了定时器模拟数据,产生随机数据,这个可以直接配置文件修改来选择采用何种数据采集方法,总结了一下基本上会有这样几种数据源,timer-模拟数据 db-数据库采集 tcp-网络采集 http-post请求,大量的web会选择采用http作为post网络请求来获取数据,而对于本人来说,更喜欢用数据库作为数据源,这样可以避免很多扯皮的事情,比如请求出错或者得到错误的数据等,而数据库是死的,不涉及到其他任何程序的干扰,也不需要做任何对接,只要规范好数据库表和字段即可。
975 0
cluvfy(Cluster Verification Utility,集群检验工具),简称CVU,cvuqdisk包
cluvfy(Cluster Verification Utility,集群检验工具),简称CVU,cvuqdisk包 A Cluster Verification Utility Reference     ...
818 0
+关注
whatcat
高山有强风
19
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载