开发者社区> 陈鹏飞Figo Chen> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

【最佳实践】如何通过OSSimport工具将线下数据迁移至金融云OSS?

简介: 1. 当前存在的问题: 金融云由于等保要求,不能直接将闪电立方设备寄送到金融云机房。因此,我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。
+关注继续查看

1. 当前存在的问题:

金融云由于等保要求,不能直接将闪电立方设备寄送到金融云机房。因此,我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。金融云公网Bucket类似于公共云,能够被互联网直接访问。因此,是否可以借助于金融云公网OSS进行中转?

2.总体思路:

由于金融云内网只能在金融云内部访问。外部互联网无法访问。但是金融云公网Bucket类似于与公共云的OSS,允许VPC以及经典网络以及互联网访问。因此我们的思路是在金融云内部搭建1个ECS服务。该ECS服务是能够访问金融云内网Bucket,同时该ECS也是能够访问金融云公网OSS。
注意:金融云的ECS可以直接访问互联网,但是互联网的end user是不能直接访问金融云内部ECS的。需要通过SLB中转。

此处我们的思路是这样的:

  • 创建金融云ECS,同时创建金融云内网OSS;
  • 在该金融云ECS上部署ossimport工具,通过ossimport工具将金融云公网Bucket内容 迁移至 金融云内网Bucket;

说明:

  1. 测试环境下:该方式的单台ECS迁移速度可以达到50MB/s;
  2. 若实际测试环境速度达不到客户要求,可以创建多个ECS服务器,然后集群版ossimport,
  3. 说明:整个迁移过程都不走公网,不会产生流量费用!!!

3.演示示例:

如下的示例均是基于这个场景,实际配置过程中请根据实际客户场景进行修改;

•    ECS 服务器:ubuntu16.04
    - ECS endpoint: 华东2金融云
•    金融云内网OSS: (目的端)
    - Bucket名称:test-shagnhai-finane-in
    - Endpoint: oss-cn-shanghai-finance-1-internal.aliyuncs.com
•    金融云公网OSS:(源端)
    - Bucket 名称:test-shanghai-finance-pubb
    - 内网Endpoint:oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com
    - 外网Endpoint:oss-cn-shanghai-finance-1-pub.aliyuncs.com

3.1 Step1:在上海金融云开通部署ECS

1.下载ossimport(此处下载ossimport集群版):

a) 命令:wget http://gosspublic.alicdn.com/ossimport/distributed/ossimport-2.3.2.tar.gz?spm=a2c4g.11186623.2.1.9EPlFR&file=ossimport-2.3.2.tar.gz
b) 解压 ossimport;tar -zxvf ossimport-2.3.2.tar.gz
c) 修改 worker,job.cfg以及sys.properties文件。
d) 注意worker中 master的ip写在第一行
e) 详细安装部署请参考:https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1109.d6a1pD

3.2Step2:安装ossimport

1.安装示例:安装示例

安装说明:安装过程中有可能提示任务无法执行,那是因为默认ubuntu没有安装java,请手工安装default-jre;
Job.cfg文件配置:源与目的endpoint 均请填写内网二级域名(注意,不要写外网域名!!!!

3.3Step3: 在master节点上运行

1. 在master运行: bash console.sh deploy
2. 提交任务: bash console.sh submit
3. 启动服务:Linux终端执行 bash console.start
4. 查看任务状态: bash console.sh stat

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
JDBC数据库编程
JDBC数据库编程
144 0
独家 | 从全方位为你比较3种数据科学工具的比较:Python、R和SAS(附链接)
关于三种数据科学工具Python、R和SAS,本文从8个角度进行比较分析并在文末提供记分卡,以便你随时调整权重,快速做出选择。
5984 0
数据库和开发行业中的IDE工具
 在我从事DBA工作的这些年,经常会有网友会问我,数据库有什么好的工具可以使用,让我给推荐几个,数据库的工具还少吗,Oracle阵营:   Toad(付费),SQL Developer(免费),PLSQL dev(付费),squirrel(免费)   MySQL阵营:   SQLyog(付费),Navicat(付费) 当然很多工具和产品对于我们很多码农来说,至少目前,付费和免费,我们对待的态度是一样的。
1402 0
JDBC数据库编程
常识名词:ODBC ,JDBC,JDBC API ,JDBC Driver API  数据准备,续上节:   JDBC编程流程 最基本的JDBC操作 本段内容主要完成JDBC的增删查改操作 package com.
864 0
JDBC连接各种数据库的字符串
[转自http://www.cnblogs.com/gulvzhe/archive/2012/08/24/2653867.html] JDBC连接各种数据库的字符串大同小异,在此总结一下,备忘。
1054 0
30
文章
0
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载