数据迁移服务参数说明

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 在线迁移服务,支持OSS之间、其它云存储到OSS的数据迁移。

Aliyun OSS

Endpoint

OSS的Endpoint支持如下四种格式:

序号 正确格式 说明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公网,以http方式上传/下载数据
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以http方式上传/下载数据
3 https://oss-cn-hangzhou.aliyuncs.com 使用公网,以https方式上传/下载数据
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以https方式上传/下载数据

当OSS作为数据源时,迁移服务会自动使用内网下载;其它数据源时,OSS会使用内网上传。以下格式均为非法

# 带存储空间名称
http://bucket.oss-cn-hangzhou.aliyuncs.com
# 带其它资源
http://oss-cn-hangzhou.aliyuncs.com/bucket
http://oss-cn-hangzhou.aliyuncs.com/bucket/object
# 带有其它限制条件
http://oss-cn-hangzhou.aliyuncs.com/
http://oss-cn-hangzhou.aliyuncs.com?
http://oss-cn-hangzhou.aliyuncs.com/?qs=
http://oss-cn-hangzhou.aliyuncs.com/?qs=val
# CDN域名、Cname等费OSS域名
http://d1.d2.d3.com
# 不携带指定协议
oss-cn-hangzhou.aliyuncs.com/

OSS的Endpoint详细列表,参见访问域名

Bucket

请填写正确的存储空间名称,前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyId/SecretAccessKey

访问密钥,简称为AK/SK。迁移服务的AK/SK可以是主用户、子用户的密钥,不能是临时用户的密钥,上述概念的解释请参考访问控制。目前尚不支持服务费授权。
如果OSS做为迁移服务的数据源,子用户可以使用以下Policy授权:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:mybucket"
      ],
      "Condition": {}
    }
  ]
}

如果OSS做为起迁移服务的目标,子用户可以使用以下Policy授权:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:PutObject",
        "oss:ListObjects",
        "oss:DeleteObject",
        "oss:AbortMultipartUpload"
      ],
      "Resource": [
        "acs:oss:*:*: mybucket"
      ],
      "Condition": {}
    }
  ]
}

你可以为迁移服务创建特定子用户,生成专用的AK/SK;迁移任务完成后相应的AK/SK。

迁移存储量/迁移文件个数

存储空间下的存储量和文件数可以通过OSS的控制台查看。

AWS S3

迁移服务尚不支持AWS S3的白名单访问。如果有白名单配置,请先暂时取消白名单或提工单

Endpoint

迁移服务支持以下区域及格式,其它的格式均不支持。协议支持HTTPS的域名还可以使用https。

RegionName Region Endpoint Protocol
US East (Ohio) us-east-2 http://s3.us-east-2.amazonaws.com
http://s3-us-east-2.amazonaws.com
HTTP/HTTPS
US East (N. Virginia) us-east-1 http://s3.us-east-1.amazonaws.com
http://s3-us-east-1.amazonaws.com
HTTP/HTTPS
US West (N. California) us-west-1 http://s3.us-west-1.amazonaws.com
http://s3-us-west-1.amazonaws.com
HTTP/HTTPS
US West (Oregon) us-west-2 http://s3.us-west-2.amazonaws.com
http://s3-us-west-2.amazonaws.com
HTTP/HTTPS
Canada (Central) ca-central-1 http://s3.ca-central-1.amazonaws.com
http://s3-ca-central-1.amazonaws.com
HTTP/HTTPS
Asia Pacific (Seoul) ap-northeast-2 http://s3.ap-northeast-2.amazonaws.com
http://s3-ap-northeast-2.amazonaws.com
HTTP/HTTPS
Asia Pacific (Osaka-Local) ap-northeast-3 http://s3.ap-northeast-3.amazonaws.com
http://s3-ap-northeast-3.amazonaws.com
HTTP/HTTPS
Asia Pacific (Singapore) ap-southeast-1 http://s3.ap-southeast-1.amazonaws.com
http://s3-ap-southeast-1.amazonaws.com
HTTP/HTTPS
Asia Pacific (Sydney) ap-southeast-2 http://s3.ap-southeast-2.amazonaws.com
http://s3-ap-southeast-2.amazonaws.com
HTTP/HTTPS
Asia Pacific (Tokyo) ap-northeast-1 http://s3.ap-northeast-1.amazonaws.com
http://s3-ap-northeast-1.amazonaws.com
HTTP/HTTPS
China (Beijing) cn-north-1 http://s3.cn-north-1.amazonaws.com.cn HTTP/HTTPS
China (Ningxia) cn-northwest-1 http://s3.cn-northwest-1.amazonaws.com.cn HTTP/HTTPS
EU (Frankfurt) eu-central-1 http://s3.eu-central-1.amazonaws.com
http://s3-eu-central-1.amazonaws.com
HTTP/HTTPS
EU (Ireland) eu-west-1 http://s3.eu-west-1.amazonaws.com
http://s3-eu-west-1.amazonaws.com
HTTP/HTTPS
EU (London) eu-west-2 http://s3.eu-west-2.amazonaws.com
http://s3-eu-west-2.amazonaws.com
HTTP/HTTPS
EU (Paris) eu-west-3 http://s3.eu-west-3.amazonaws.com
http://s3-eu-west-3.amazonaws.com
HTTP/HTTPS
South America (São Paulo) sa-east-1 http://s3.sa-east-1.amazonaws.com
http://s3-sa-east-1.amazonaws.com
HTTP/HTTPS

Bucket

请填写正确的存储空间名称,前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyId/SecretAccessKey

请在AWS控制台的IAM页面,创建用户并授予 AmazonS3ReadOnlyAccess 权限,然后再创建访问密钥。迁移完成后删除用户。

迁移存储量/迁移文件个数

请认真评估,确保与实际值相符。

Azure blob

存储账户/密钥/连接字符串

国际版,进入Azure的管理控制台,在路径 主页 > 存储帐户 > {存储帐户名称} > 访问密钥 中找到存储账户、密钥、连接字符串信息。如下图:

azure_blob

容器

容器即Azure中的container。

前缀

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

迁移存储量/迁移文件个数

在路径 主页 > testbucket2018 - Blob > container - 属性计算大小 按钮可以
计算出容器大小。如下图:

azure_blob_2

Tencent cos

迁移服务支持V4版本的COS,采用V4版本的API访问COS。

所属地区

V4版本的COS可以地域如下表,所属地区请填写地域简称

地域 地域简称 说明
北京一区(华北) tj
北京 bj
上海(华东) sh
广州(华南) gz
成都(西南) cd
新加坡 sgp
香港 hk
多伦多 ca
法兰克福 ger

Bucket

COS Bucket(存储桶)名称由 [自定义名称]-[开发商APPID] 构成。数据迁移服务的bucket配置项请填写自定义名称部分,比如 mingdi-1252883280,迁移服务的bucket项填 mingdi

Prefix

迁移指定目录下的文件,即指定前缀的文件。请以 / 开头,以 / 结尾,如 /docs/

APPID

请到控制台账号信息页面查看,如下图。

t_cos_1

SecretId/SecretKey

请从控制台 云产品 > 管理工具 > API密钥管理 进入访问控制页面,查看或新建密钥。推荐您为迁移服务新建密钥,迁移完成后删除。

迁移存储量/迁移存储量

请从控制台 云产品 > 存储 > 对象存储 进入对象存储页面,然后进入监控报表的基础数据统计页面,查看待迁移Bucket的存储量和
对象数量,如下图。

t_cos_2

七牛qiniu

Endpoint

七牛控制台进入对象存储页面,选择指定的存储空间后,在 融合CDN测试域名融合CDN加速域名 栏可以看到域名,如下图。

qiniu_0

Endpoint即http://域名,如

http://oy4jki81y.bkt.clouddn.com
http://78rets.com1.z0.glb.clouddn.com
http://cartoon.u.qiniudn.com

上面3个均为有效Endpoint,其它格式均无效。

Bucket

七牛对象存储的存储空间。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKey/SecretKey

管理控制台 > 个人面板 > 密钥管理 页面可以看到AK/SK,即AccessKey/SecretKey。请使用状态为使用中的有效AK/SK。

迁移存储量/迁移文件个数

七牛控制台进入对象存储页面,选择指定的存储空间后,进入内容管理页面,可以看到文件数和存蔟量。如下图。

qiniu_1

Baidu bos

Endpoint

目前支持“华北-北京”、“华南-广州”和“华东-苏州”三个区域。迁移服务使用Endpoint如下表:

区域 服务域名 访问协议 Endpoint
北京 bj.bcebos.com http/https http://bj.bcebos.com
广州 gz.bcebos.com http/https http://gz.bcebos.com
苏州 su.bcebos.com http/https http://su.bcebos.com

Bucket的区域请到控制台产品服务 / 对象存储BOS - Bucket管理 查看,如下图。

qiniu_0

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyID/SecretAccessKey

请到控制台安全认证 / Access Key 页面上查看,如下图。

qiniu_1

迁移存储量/迁移文件个数

控制台产品服务 / 对象存储BOS - Bucket管理 / Bucket概览 页面可以查看Bucket的存储量,文件个数请认真评估,尽量准确。

Http/https

列表地址

列表文件格式

列表文件有两列,第一列是http/https地址,地址中特殊字符请URL编码。迁移服务用该链接的Get请求下载文件内容,Head请求获取文件元数据;第二列是的文件名,迁移后的object name是prefix + 文件名,两列用制表符\t分割;每行之间换行\n分割。格式如下:

http://127.0.0.1/docs/my.doc    docs/my.doc
http://127.0.0.1/pics/my.jpg    pics/my.jpg
http://127.0.0.1/exes/my.exe    exes/my.exe

列表地址格式

迁移文件生成后,请上传到OSS。迁移服务会下载列表文件,并根据指定的地址迁移文件。列表地址的格式是 oss://{bucket}/{列表文件},示例如下:

oss://mybucket/httplist.txt

列表访问Endpoint

OSS的Endpoint支持如下四种格式:

序号 正确格式 说明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公网,以http方式上传/下载数据
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以http方式上传/下载数据
3 https://oss-cn-hangzhou.aliyuncs.com 使用公网,以https方式上传/下载数据
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以https方式上传/下载数据

OSS的Endpoint详细列表,参见访问域名

列表访问AK/SK

迁移服务需要使用该AK/SK下载列表文件。该AK/SK可以是主账号的AK/SDK;也可以是子账号的AK/SK,需要授予GetObject权限。

迁移存储量/迁移文件个数

请认真评估,确保与实际值相符。

又拍youpai

地址

即对象存储SDK的接入点,REST API中的域名,如下表。如果您不能确定自己的网络类型,请使用 http://v0.api.upyun.com

网络类型 地址 说明
智能选路 http://v0.api.upyun.com 推荐
电信线路 http://v1.api.upyun.com
联通(网通)线路 http://v2.api.upyun.com
移动(铁通)线路 http://v3.api.upyun.com

服务名称

请在控制台的云存储中查看。

迁移目录

迁移指定目录下的文件,请以 / 结尾,不要以 / 开头,如 docs/

操作员名/操作员密码

请在控制台的账号管理页面查看和添加操作员。添加您为迁移服务新建操作员,并授予 可读取 权限,如下图。

youpai_1

然后进入控制台的云存储页面,选择待迁移的服务名称,进入配置页面,选择内容管理,并授权操作员,如下图。

youpai_2

迁移存储量/迁移文件个数

请到控制台云存储的配置页面查看Bucket的存蔟量,文件个数请认真评估,尽量准确。

Kingsoft ks3

Endpoint

Region(区域)与Endpoint(域名)的对应关系如下,Bucket(存储空间)的Region请在控制台上的 存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看。

Region Endpoint
中国(北京) ks3-cn-beijing.ksyun.com
中国(上海) ks3-cn-shanghai.ksyun.com
中国(香港) ks3-cn-hk-1.ksyun.com
中国(杭州) kss.ksyun.com
俄罗斯 ks3-rus.ksyun.com
新加坡 ks3-sgp.ksyun.com

Bucket

即金山云对象存储的空间。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKey/SecretKey

请在控制台的身份与管理下的用户管理页面,创建用户并授予 KS3FullAccess 权限,然后在用户页面新建密钥。迁移完成后删除该用户。

迁移存储量/迁移文件个数

请到控制台存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看Bucket的存储量,文件个数请认真评估,尽量准确。

华为云OBS

Endpoint

华为云存储支持的区域如下,详见地区和终端节点

区域名称 区域 Endpoint 协议类型
华北-北京四 cn-north-4 obs.cn-north-4.myhuaweicloud.com HTTPS/HTTP
华北-北京一 cn-north-1 obs.cn-north-1.myhuaweicloud.com HTTPS/HTTP
华东-上海二 cn-east-2 obs.cn-east-2.myhuaweicloud.com HTTPS/HTTP
华东-上海一 cn-east-3 obs.cn-east-3.myhuaweicloud.com HTTPS/HTTP
华南-广州 cn-south-1 obs.cn-south-1.myhuaweicloud.com HTTPS/HTTP
西南-贵阳一 cn-southwest-2 obs.cn-southwest-2.myhuaweicloud.com HTTPS/HTTP
亚太-曼谷 ap-southeast-2 obs.ap-southeast-2.myhuaweicloud.com HTTPS/HTTP
亚太-香港 ap-southeast-1 obs.ap-southeast-1.myhuaweicloud.com HTTPS/HTTP
亚太-新加坡 ap-southeast-3 obs.ap-southeast-3.myhuaweicloud.com HTTPS/HTTP
非洲-约翰内斯堡 af-south-1 obs.af-south-1.myhuaweicloud.com HTTPS/HTTP

Bucket

即华为云存储对象存储的桶。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyID/SecretAccessKey

请到华为管理控制台的 我的凭证 > 访问秘钥 页面上查看。如果初次没有设置秘钥,则需要点击新增访问秘钥按钮来新增秘钥即可。

迁移存储量/迁移文件个数

请到华为元管理控制台,点击迁移的Bucket,查看Bucket的详细内容,如下图。页面中有Bucket的存储量,文件个数。
_jpeg

UCloud UFile

所属地域

即地域(Region),支持地域如下表,详见地域和可用区列表

地域名称 地域
北京 cn-bj
香港 hk
广州 cn-gd
上海二 cn-sh2
洛杉矶 us-ca
新加坡 sg
雅加达 idn-jakarta
拉各斯 afr-nigeria
圣保罗 bra-saopaulo
迪拜 uae-dubai
胡志明市 vn-sng
台北 tw-tp
孟买 ind-mumbai
华盛顿 us-ws
法兰克福 ge-fra

存储空间

即对象存储空间(Bucket)。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

公钥/私钥

控制台API密钥中的PublicKey/PrivateKey。

迁移存储量/迁移文件个数

请到控制台对象存储UFile,在存储空间详情的概览页面查看存储量。文件个数请认真评估,尽量准确。

目录
相关文章
|
6月前
DTS数据传输延迟可能有多种原因
【1月更文挑战第16天】【1月更文挑战第79篇】DTS数据传输延迟可能有多种原因
287 2
|
4月前
|
SQL 数据管理 关系型数据库
数据管理DMS使用问题之DTs同实例同库前的表数据同步,该如何操作
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
5月前
|
数据库 关系型数据库 MySQL
DTS库支持多种数据源类型
【6月更文挑战第2天】DTS库支持多种数据源类型
73 3
|
6月前
|
SQL 存储 分布式计算
DataWorks常见问题之能否把元数据的库名表名同步
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
6月前
starrocks 系统参数说明
starrocks 系统参数说明
|
6月前
|
SQL 监控 数据库
dts的数据迁移错误
dts的数据迁移错误
94 2
|
6月前
|
关系型数据库 MySQL 数据库
dts在数据迁移过程中,如果出现“默认值超出目标数据库支持范围”的错误
dts在数据迁移过程中,如果出现“默认值超出目标数据库支持范围”的错误
73 1
|
存储 关系型数据库 MySQL
数据同步ADB,源库与目标库数据类型不一致
MySQL全库结构同步至ADB场景中,源库mysql上字段类型是ulong,同步到ADB上字段类型转变为decimal,为什么数据类型不一致、有什么解决方案
|
分布式计算 DataWorks 关系型数据库
DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?
数据集成mysql-to-odps支持将timestamp时间戳类型数据同步为odps的datetime类型
3239 0
DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?