AI 助理
备案控制台
开发者社区 云存储 文章 正文

数据迁移服务参数说明

2018-09-25 12659
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
云备份 Cloud Backup，100GB 3个月
文件存储 NAS，50GB 3个月
简介： 在线迁移服务，支持OSS之间、其它云存储到OSS的数据迁移。

Aliyun OSS

Endpoint

OSS的Endpoint支持如下四种格式：

序号 正确格式 说明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公网，以http方式上传/下载数据
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网，以http方式上传/下载数据
3 https://oss-cn-hangzhou.aliyuncs.com 使用公网，以https方式上传/下载数据
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网，以https方式上传/下载数据

当OSS作为数据源时，迁移服务会自动使用内网下载；其它数据源时，OSS会使用内网上传。以下格式均为非法：

# 带存储空间名称
http://bucket.oss-cn-hangzhou.aliyuncs.com
# 带其它资源
http://oss-cn-hangzhou.aliyuncs.com/bucket
http://oss-cn-hangzhou.aliyuncs.com/bucket/object
# 带有其它限制条件
http://oss-cn-hangzhou.aliyuncs.com/
http://oss-cn-hangzhou.aliyuncs.com?
http://oss-cn-hangzhou.aliyuncs.com/?qs=
http://oss-cn-hangzhou.aliyuncs.com/?qs=val
# CDN域名、Cname等费OSS域名
http://d1.d2.d3.com
# 不携带指定协议
oss-cn-hangzhou.aliyuncs.com/

OSS的Endpoint详细列表，参见访问域名。

Bucket

请填写正确的存储空间名称，前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

AccessKeyId/SecretAccessKey

访问密钥，简称为AK/SK。迁移服务的AK/SK可以是主用户、子用户的密钥，不能是临时用户的密钥，上述概念的解释请参考访问控制。目前尚不支持服务费授权。
如果OSS做为迁移服务的数据源，子用户可以使用以下Policy授权：

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:mybucket"
      ],
      "Condition": {}
    }
  ]
}

如果OSS做为起迁移服务的目标，子用户可以使用以下Policy授权：

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:PutObject",
        "oss:ListObjects",
        "oss:DeleteObject",
        "oss:AbortMultipartUpload"
      ],
      "Resource": [
        "acs:oss:*:*: mybucket"
      ],
      "Condition": {}
    }
  ]
}

你可以为迁移服务创建特定子用户，生成专用的AK/SK；迁移任务完成后相应的AK/SK。

迁移存储量/迁移文件个数

存储空间下的存储量和文件数可以通过OSS的控制台查看。

AWS S3

迁移服务尚不支持AWS S3的白名单访问。如果有白名单配置，请先暂时取消白名单或提工单。

Endpoint

迁移服务支持以下区域及格式，其它的格式均不支持。协议支持HTTPS的域名还可以使用https。

RegionName Region Endpoint Protocol
US East (Ohio) us-east-2 http://s3.us-east-2.amazonaws.com
http://s3-us-east-2.amazonaws.com 		HTTP/HTTPS
US East (N. Virginia) us-east-1 http://s3.us-east-1.amazonaws.com
http://s3-us-east-1.amazonaws.com 		HTTP/HTTPS
US West (N. California) us-west-1 http://s3.us-west-1.amazonaws.com
http://s3-us-west-1.amazonaws.com 		HTTP/HTTPS
US West (Oregon) us-west-2 http://s3.us-west-2.amazonaws.com
http://s3-us-west-2.amazonaws.com 		HTTP/HTTPS
Canada (Central) ca-central-1 http://s3.ca-central-1.amazonaws.com
http://s3-ca-central-1.amazonaws.com 		HTTP/HTTPS
Asia Pacific (Seoul) ap-northeast-2 http://s3.ap-northeast-2.amazonaws.com
http://s3-ap-northeast-2.amazonaws.com 		HTTP/HTTPS
Asia Pacific (Osaka-Local) ap-northeast-3 http://s3.ap-northeast-3.amazonaws.com
http://s3-ap-northeast-3.amazonaws.com 		HTTP/HTTPS
Asia Pacific (Singapore) ap-southeast-1 http://s3.ap-southeast-1.amazonaws.com
http://s3-ap-southeast-1.amazonaws.com 		HTTP/HTTPS
Asia Pacific (Sydney) ap-southeast-2 http://s3.ap-southeast-2.amazonaws.com
http://s3-ap-southeast-2.amazonaws.com 		HTTP/HTTPS
Asia Pacific (Tokyo) ap-northeast-1 http://s3.ap-northeast-1.amazonaws.com
http://s3-ap-northeast-1.amazonaws.com 		HTTP/HTTPS
China (Beijing) cn-north-1 http://s3.cn-north-1.amazonaws.com.cn HTTP/HTTPS
China (Ningxia) cn-northwest-1 http://s3.cn-northwest-1.amazonaws.com.cn HTTP/HTTPS
EU (Frankfurt) eu-central-1 http://s3.eu-central-1.amazonaws.com
http://s3-eu-central-1.amazonaws.com 		HTTP/HTTPS
EU (Ireland) eu-west-1 http://s3.eu-west-1.amazonaws.com
http://s3-eu-west-1.amazonaws.com 		HTTP/HTTPS
EU (London) eu-west-2 http://s3.eu-west-2.amazonaws.com
http://s3-eu-west-2.amazonaws.com 		HTTP/HTTPS
EU (Paris) eu-west-3 http://s3.eu-west-3.amazonaws.com
http://s3-eu-west-3.amazonaws.com 		HTTP/HTTPS
South America (São Paulo) sa-east-1 http://s3.sa-east-1.amazonaws.com
http://s3-sa-east-1.amazonaws.com 		HTTP/HTTPS

Bucket

请填写正确的存储空间名称，前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

AccessKeyId/SecretAccessKey

请在AWS控制台的IAM页面，创建用户并授予 AmazonS3ReadOnlyAccess 权限，然后再创建访问密钥。迁移完成后删除用户。

迁移存储量/迁移文件个数

请认真评估，确保与实际值相符。

Azure blob

存储账户/密钥/连接字符串

国际版，进入Azure的管理控制台，在路径 主页 > 存储帐户 > {存储帐户名称} > 访问密钥 中找到存储账户、密钥、连接字符串信息。如下图：

azure_blob

容器

容器即Azure中的container。

前缀

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

迁移存储量/迁移文件个数

在路径 主页 > testbucket2018 - Blob > container - 属性 有 计算大小 按钮可以
计算出容器大小。如下图：

azure_blob_2

Tencent cos

迁移服务支持V4版本的COS，采用V4版本的API访问COS。

所属地区

V4版本的COS可以地域如下表，所属地区请填写地域简称：

地域 地域简称 说明
北京一区（华北） tj
北京 bj
上海（华东） sh
广州（华南） gz
成都（西南） cd
新加坡 sgp
香港 hk
多伦多 ca
法兰克福 ger

Bucket

COS Bucket（存储桶）名称由 [自定义名称]-[开发商APPID] 构成。数据迁移服务的bucket配置项请填写自定义名称部分，比如 mingdi-1252883280，迁移服务的bucket项填 mingdi。

Prefix

迁移指定目录下的文件，即指定前缀的文件。请以 / 开头，以 / 结尾，如 /docs/。

APPID

请到控制台账号信息页面查看，如下图。

t_cos_1

SecretId/SecretKey

请从控制台 云产品 > 管理工具 > API密钥管理 进入访问控制页面，查看或新建密钥。推荐您为迁移服务新建密钥，迁移完成后删除。

迁移存储量/迁移存储量

请从控制台 云产品 > 存储 > 对象存储 进入对象存储页面，然后进入监控报表的基础数据统计页面，查看待迁移Bucket的存储量和
对象数量，如下图。

t_cos_2

七牛qiniu

Endpoint

从七牛控制台进入对象存储页面，选择指定的存储空间后，在 融合CDN测试域名 或 融合CDN加速域名 栏可以看到域名，如下图。

qiniu_0

Endpoint即http://域名，如

http://oy4jki81y.bkt.clouddn.com
http://78rets.com1.z0.glb.clouddn.com
http://cartoon.u.qiniudn.com

上面3个均为有效Endpoint，其它格式均无效。

Bucket

七牛对象存储的存储空间。

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

AccessKey/SecretKey

在 管理控制台 > 个人面板 > 密钥管理 页面可以看到AK/SK，即AccessKey/SecretKey。请使用状态为使用中的有效AK/SK。

迁移存储量/迁移文件个数

从七牛控制台进入对象存储页面，选择指定的存储空间后，进入内容管理页面，可以看到文件数和存蔟量。如下图。

qiniu_1

Baidu bos

Endpoint

目前支持“华北-北京”、“华南-广州”和“华东-苏州”三个区域。迁移服务使用Endpoint如下表：

区域 服务域名 访问协议 Endpoint
北京 bj.bcebos.com http/https http://bj.bcebos.com
广州 gz.bcebos.com http/https http://gz.bcebos.com
苏州 su.bcebos.com http/https http://su.bcebos.com

Bucket的区域请到控制台的 产品服务 / 对象存储BOS - Bucket管理 查看，如下图。

qiniu_0

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

AccessKeyID/SecretAccessKey

请到控制台的 安全认证 / Access Key 页面上查看，如下图。

qiniu_1

迁移存储量/迁移文件个数

控制台的 产品服务 / 对象存储BOS - Bucket管理 / Bucket概览 页面可以查看Bucket的存储量，文件个数请认真评估，尽量准确。

Http/https

列表地址

列表文件格式

列表文件有两列，第一列是http/https地址，地址中特殊字符请URL编码。迁移服务用该链接的Get请求下载文件内容，Head请求获取文件元数据；第二列是的文件名，迁移后的object name是prefix + 文件名，两列用制表符\t分割；每行之间换行\n分割。格式如下：

http://127.0.0.1/docs/my.doc    docs/my.doc
http://127.0.0.1/pics/my.jpg    pics/my.jpg
http://127.0.0.1/exes/my.exe    exes/my.exe

列表地址格式

迁移文件生成后，请上传到OSS。迁移服务会下载列表文件，并根据指定的地址迁移文件。列表地址的格式是 oss://{bucket}/{列表文件}，示例如下：

oss://mybucket/httplist.txt

列表访问Endpoint

OSS的Endpoint支持如下四种格式：

序号 正确格式 说明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公网，以http方式上传/下载数据
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网，以http方式上传/下载数据
3 https://oss-cn-hangzhou.aliyuncs.com 使用公网，以https方式上传/下载数据
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网，以https方式上传/下载数据

OSS的Endpoint详细列表，参见访问域名。

列表访问AK/SK

迁移服务需要使用该AK/SK下载列表文件。该AK/SK可以是主账号的AK/SDK；也可以是子账号的AK/SK，需要授予GetObject权限。

迁移存储量/迁移文件个数

请认真评估，确保与实际值相符。

又拍youpai

地址

即对象存储SDK的接入点，REST API中的域名，如下表。如果您不能确定自己的网络类型，请使用 http://v0.api.upyun.com。

网络类型 地址 说明
智能选路 http://v0.api.upyun.com 推荐
电信线路 http://v1.api.upyun.com
联通（网通）线路 http://v2.api.upyun.com
移动（铁通）线路 http://v3.api.upyun.com

服务名称

请在控制台的云存储中查看。

迁移目录

迁移指定目录下的文件，请以 / 结尾，不要以 / 开头，如 docs/。

操作员名/操作员密码

请在控制台的账号管理页面查看和添加操作员。添加您为迁移服务新建操作员，并授予 可读取 权限，如下图。

youpai_1

然后进入控制台的云存储页面，选择待迁移的服务名称，进入配置页面，选择内容管理，并授权操作员，如下图。

youpai_2

迁移存储量/迁移文件个数

请到控制台云存储的配置页面查看Bucket的存蔟量，文件个数请认真评估，尽量准确。

Kingsoft ks3

Endpoint

Region（区域）与Endpoint（域名）的对应关系如下，Bucket（存储空间）的Region请在控制台上的 存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看。

Region Endpoint
中国（北京） ks3-cn-beijing.ksyun.com
中国（上海） ks3-cn-shanghai.ksyun.com
中国（香港） ks3-cn-hk-1.ksyun.com
中国（杭州） kss.ksyun.com
俄罗斯 ks3-rus.ksyun.com
新加坡 ks3-sgp.ksyun.com

Bucket

即金山云对象存储的空间。

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

AccessKey/SecretKey

请在控制台的身份与管理下的用户管理页面，创建用户并授予 KS3FullAccess 权限，然后在用户页面新建密钥。迁移完成后删除该用户。

迁移存储量/迁移文件个数

请到控制台的 存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看Bucket的存储量，文件个数请认真评估，尽量准确。

华为云OBS

Endpoint

华为云存储支持的区域如下，详见地区和终端节点

区域名称 区域 Endpoint 协议类型
华北-北京四 cn-north-4 obs.cn-north-4.myhuaweicloud.com HTTPS/HTTP
华北-北京一 cn-north-1 obs.cn-north-1.myhuaweicloud.com HTTPS/HTTP
华东-上海二 cn-east-2 obs.cn-east-2.myhuaweicloud.com HTTPS/HTTP
华东-上海一 cn-east-3 obs.cn-east-3.myhuaweicloud.com HTTPS/HTTP
华南-广州 cn-south-1 obs.cn-south-1.myhuaweicloud.com HTTPS/HTTP
西南-贵阳一 cn-southwest-2 obs.cn-southwest-2.myhuaweicloud.com HTTPS/HTTP
亚太-曼谷 ap-southeast-2 obs.ap-southeast-2.myhuaweicloud.com HTTPS/HTTP
亚太-香港 ap-southeast-1 obs.ap-southeast-1.myhuaweicloud.com HTTPS/HTTP
亚太-新加坡 ap-southeast-3 obs.ap-southeast-3.myhuaweicloud.com HTTPS/HTTP
非洲-约翰内斯堡 af-south-1 obs.af-south-1.myhuaweicloud.com HTTPS/HTTP

Bucket

即华为云存储对象存储的桶。

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

AccessKeyID/SecretAccessKey

请到华为管理控制台的 我的凭证 > 访问秘钥 页面上查看。如果初次没有设置秘钥，则需要点击新增访问秘钥按钮来新增秘钥即可。

迁移存储量/迁移文件个数

请到华为元管理控制台，点击迁移的Bucket，查看Bucket的详细内容，如下图。页面中有Bucket的存储量，文件个数。
_jpeg

UCloud UFile

所属地域

即地域（Region），支持地域如下表，详见地域和可用区列表。

地域名称 地域
北京 cn-bj
香港 hk
广州 cn-gd
上海二 cn-sh2
洛杉矶 us-ca
新加坡 sg
雅加达 idn-jakarta
拉各斯 afr-nigeria
圣保罗 bra-saopaulo
迪拜 uae-dubai
胡志明市 vn-sng
台北 tw-tp
孟买 ind-mumbai
华盛顿 us-ws
法兰克福 ge-fra

存储空间

即对象存储空间（Bucket）。

Prefix

迁移指定“目录”下的文件，即指定前缀的文件，不包括文件名称为前缀的文件。请以 / 结尾，不要以 / 开头，如 docs/。

公钥/私钥

即控制台API密钥中的PublicKey/PrivateKey。

迁移存储量/迁移文件个数

请到控制台的对象存储UFile，在存储空间详情的概览页面查看存储量。文件个数请认真评估，尽量准确。

文章标签：
域名
闪电立方
对象存储
对象存储
存储
容器
数据安全/隐私保护
CDN
开发工具
BI
网络架构
安全
API
鸣镝
目录
相关文章
真的很搞笑
|
6月前
|
DataWorks 关系型数据库 大数据
DataWorks常见问题之数据源使用连接串模式新增 postgres 数据源报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
真的很搞笑
84 1
小周sir
|
6月前
|
存储 关系型数据库 MySQL
RDS有哪些参数？都有什么作用？
RDS有哪些参数？都有什么作用？
小周sir
164 0
vohelon
|
5月前
|
数据库 关系型数据库 MySQL
DTS库支持多种数据源类型
【6月更文挑战第2天】DTS库支持多种数据源类型
vohelon
73 3
真的很搞笑
|
6月前
|
SQL 存储 分布式计算
DataWorks常见问题之能否把元数据的库名表名同步
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
真的很搞笑
78 3
大数据启示录
|
6月前
starrocks 系统参数说明
starrocks 系统参数说明
大数据启示录
1217 3
小周sir
|
6月前
|
DataWorks 索引
DataWorks数据集成的时候，字段怎么自动截取了？
DataWorks数据集成的时候，字段怎么自动截取了？
小周sir
57 1
游客bnershm6e7rzc
|
存储 关系型数据库 MySQL
数据同步ADB，源库与目标库数据类型不一致
MySQL全库结构同步至ADB场景中，源库mysql上字段类型是ulong，同步到ADB上字段类型转变为decimal，为什么数据类型不一致、有什么解决方案
游客bnershm6e7rzc
208 0
技术小胖子
|
关系型数据库 MySQL 数据库
MySQL主从复制指定不同库表同步参数说明
技术小胖子
2400 0
zaid胡振宇
|
分布式计算 DataWorks 关系型数据库
DataWorks百问百答31：如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型？
数据集成mysql-to-odps支持将timestamp时间戳类型数据同步为odps的datetime类型
zaid胡振宇
3239 0
DataWorks百问百答31：如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型？
zaid胡振宇
|
SQL 分布式计算 DataWorks
DataWorks百问百答28：MongoDB时间戳类型字段如何实现增量同步？
结合赋值节点通过MongoDB时间戳类型字段实现增量同步场景示例
zaid胡振宇
2377 0
DataWorks百问百答28：MongoDB时间戳类型字段如何实现增量同步？

云存储

热门文章

最新文章

  • 1
    5分钟搭建网站实时分析：Grafana+日志服务实战
  • 2
    如何打造千万级Feed流系统
  • 3
    高并发IM系统架构优化实践
  • 4
    日志客户端（Logstash,Fluentd, Logtail）横评
  • 5
    开放分布式追踪（OpenTracing）入门与 Jaeger 实现
  • 6
    使用阿里云极速型NAS构建高可用的GitLab
  • 7
    现代IM系统中消息推送和存储架构的实现
  • 8
    日志服务（原SLS）新功能发布(9)--Logtail配置支持主题（Topic）设置功能
  • 9
    使用日志服务LogHub替换Kafka
  • 10
    解密OpenTSDB的表存储优化
  • 1
    抽象类在面向对象编程中有哪些优势
    11
  • 2
    java 中操作字符串都有哪些类，它们之间有什么区别
    18
  • 3
    正则表达式如何匹配中文
    9
  • 4
    如何根据设备文档和开发板标识来确定 GPIO 引脚的编号
    16
  • 5
    评估系统的可用性时间
    23
  • 6
    浮动CPU和定点CPU的主要区别是什么
    17
  • 7
    AI驱动下的云存储创新
    40
  • 8
    CPFS深度解析：并行文件存储加速AI创新
    31
  • 9
    面向 AI 的存储基础设施升级
    41
  • 10
    低代码开发平台，快速搭建云MES系统
    31

    • 相关电子书

    更多
  • MaxCompute Logview参数详解和问题排查（废弃）
  • MaxCompute Logview参数详解和问题排查
  • PolarDB-X 2.0 全局 Binlog 与备份恢复能

    • 相关实验场景

    更多
  • RDS MySQL Serverless资源与负载自适应
  • 使用DAS实现数据库自动SQL限流
  • 使用DAS实现数据库自动扩容和回缩
  • PolarDB MySQL通过DMS恢复误操作数据
    • 下一篇
    阿里云OSS设置跨域访问