开发者社区> whatcat> 正文

windows server 下使用gpfdist 并行导入数据到 greenplum集群

简介: 主要工作是从SQL server 迁库到grennplum
+关注继续查看

          windows server 使用gpfdist教程 

linux 下请参考 linux gpfdist


由于工作需要, 需要将在SQL server 上的数据迁移到Greenplum集群 所以 采取并行导入CSV的工具gpfdist 实现并行导入数据


一、部署安装环境

  首相去官网下载gpload.exe 点击安装  安装路径要记住 

  我的安装路径是D: 盘 gpfdist.exe在 D:\bin\


二、启动windows 服务

2.1 命令行创建服务 win+R 输入 cmd 进入dos窗口

创建服务  这个服务是需要手动启动的   



  1. sc create gpfdist binpath="D:\bin\gpfdist.exe -p 2345 -d D:\data -l D:\load_log"

 参数介绍

  -p 打开的端口 2345

  -d 将要扫描的CSV文件存放路径 

  -l 导入数据的日志文件存放路径  


会提示  



  1. [SC] CreateService 成功


2.2 手动去启动服务  右键 启动  <图片粘贴不进来2.gif>


  2.2.1 打开任务管理器 选择服务 选择底下的 打开服务

  

  

  2.2.2 找到gpfdist 右键 启动服务


到这里服务创建完毕

如果想重新创建新的服务 要先停着这个运行的 gpfdist 服务

然后 在dos 下 执行 即删除服务


  1. sc delete gpfdist

注意事项:

1. 所导入的CSV文件使用的编码格式必须是utf-8 而windows server 存储的格式是 utf-16

  去百度下载一个iconv.exe

  dos下执行如下命令

  iconv -f utf-16 -t utf-8 filename.csv > filename_utf8.csv 

  等一段时间 就ok了

2.确定CSV文件的分隔符 我这里默认是 "," 


------------------------------分割线---------------------------------------------------------------------------------

接下来在greenplum的master节点进行设置

一、 创建外部表  

IP 地址 192.188.100.236 是windows server的IP地址


  1. create external table test_load
  2. {
  3. id int,
  4. name text
  5. }
  6. LOCATION('gpfdist://192.188.100.236:2345/test_utf8.csv')
  7. FORMAT 'csv' (DELIMITER ',');

二、建表

  


  1. create external table test
  2. {
  3. id int,
  4. name text
  5. }
  6. with(OIDS=FALSE) --可以添加多个自己需要的表特性
  7. distributed Randomly; --随机分布


三 导入数据


  1. insert into test select * from test_load;



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Elasticsearch-03 CentOS7 / Windows上部署Elasticsearch5.6.16集群模式
Elasticsearch-03 CentOS7 / Windows上部署Elasticsearch5.6.16集群模式
13 0
在Windows下使用JMeter集群+Influxdb存储+Grafana实时数据展示
在Windows下使用JMeter集群+Influxdb存储+Grafana实时数据展示
74 0
Windows下搭建redis集群
这里主要说明的是windows单机上,运行多个redis实例组成集群。
245 0
【MySQL集群】——在Windows环境下配置MySQL集群
最近在项目中用到了MySQL集群,所以就和小伙伴们研究了两天。下面给大家分享一下成果。 小编始终觉得对新事物的学习,没有比看图这种方式更好地理解了。所以先来看一张mysql集群的架构图(摘自百度百科-MySQL Cluster):
367 0
Redis集群主从复制(一主两从)搭建配置教程【Windows环境】
Redis集群主从复制(一主两从)搭建配置教程【Windows环境】 由于本地环境的使用,所以搭建一个本地的Redis集群,本篇讲解Redis主从复制集群的搭建,使用的平台是Windows,搭建的思路和Linux上基本一致!  (精读阅读本篇可能花费您15分钟,略读需5分钟左右) Redis主.
1658 0
Windows下搭建Redis集群
原文:Windows下搭建Redis集群  Redis集群:  如果部署到多台电脑,就跟普通的集群一样;因为Redis是单线程处理的,多核CPU也只能使用一个核, 所以部署在同一台电脑上,通过运行多个Redis实例组成集群,然后能提高CPU的利用率。
1179 0
Redis集群主从复制(一主两从)搭建配置教程【Windows环境】
Redis集群主从复制(一主两从)搭建配置教程【Windows环境】 如何学会在合适的场景使用合适的技术方案,这值得思考。 由于本地环境的使用,所以搭建一个本地的Redis集群,本篇讲解Redis主从复制集群的搭建,使用的平台是Windows,搭建的思路和Linux上基本一致! (精读阅.
2580 0
+关注
whatcat
高山有强风
文章
问答
视频
文章排行榜
最热
最新
相关电子书
更多
ECS运维指南之Windows系统诊断
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载