数据迁移服务参数说明

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 在线迁移服务,支持OSS之间、其它云存储到OSS的数据迁移。

Aliyun OSS

Endpoint

OSS的Endpoint支持如下四种格式:

序号 正确格式 说明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公网,以http方式上传/下载数据
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以http方式上传/下载数据
3 https://oss-cn-hangzhou.aliyuncs.com 使用公网,以https方式上传/下载数据
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以https方式上传/下载数据

当OSS作为数据源时,迁移服务会自动使用内网下载;其它数据源时,OSS会使用内网上传。以下格式均为非法

# 带存储空间名称
http://bucket.oss-cn-hangzhou.aliyuncs.com
# 带其它资源
http://oss-cn-hangzhou.aliyuncs.com/bucket
http://oss-cn-hangzhou.aliyuncs.com/bucket/object
# 带有其它限制条件
http://oss-cn-hangzhou.aliyuncs.com/
http://oss-cn-hangzhou.aliyuncs.com?
http://oss-cn-hangzhou.aliyuncs.com/?qs=
http://oss-cn-hangzhou.aliyuncs.com/?qs=val
# CDN域名、Cname等费OSS域名
http://d1.d2.d3.com
# 不携带指定协议
oss-cn-hangzhou.aliyuncs.com/

OSS的Endpoint详细列表,参见访问域名

Bucket

请填写正确的存储空间名称,前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyId/SecretAccessKey

访问密钥,简称为AK/SK。迁移服务的AK/SK可以是主用户、子用户的密钥,不能是临时用户的密钥,上述概念的解释请参考访问控制。目前尚不支持服务费授权。
如果OSS做为迁移服务的数据源,子用户可以使用以下Policy授权:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:mybucket"
      ],
      "Condition": {}
    }
  ]
}

如果OSS做为起迁移服务的目标,子用户可以使用以下Policy授权:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:PutObject",
        "oss:ListObjects",
        "oss:DeleteObject",
        "oss:AbortMultipartUpload"
      ],
      "Resource": [
        "acs:oss:*:*: mybucket"
      ],
      "Condition": {}
    }
  ]
}

你可以为迁移服务创建特定子用户,生成专用的AK/SK;迁移任务完成后相应的AK/SK。

迁移存储量/迁移文件个数

存储空间下的存储量和文件数可以通过OSS的控制台查看。

AWS S3

迁移服务尚不支持AWS S3的白名单访问。如果有白名单配置,请先暂时取消白名单或提工单

Endpoint

迁移服务支持以下区域及格式,其它的格式均不支持。协议支持HTTPS的域名还可以使用https。

RegionName Region Endpoint Protocol
US East (Ohio) us-east-2 http://s3.us-east-2.amazonaws.com
http://s3-us-east-2.amazonaws.com
HTTP/HTTPS
US East (N. Virginia) us-east-1 http://s3.us-east-1.amazonaws.com
http://s3-us-east-1.amazonaws.com
HTTP/HTTPS
US West (N. California) us-west-1 http://s3.us-west-1.amazonaws.com
http://s3-us-west-1.amazonaws.com
HTTP/HTTPS
US West (Oregon) us-west-2 http://s3.us-west-2.amazonaws.com
http://s3-us-west-2.amazonaws.com
HTTP/HTTPS
Canada (Central) ca-central-1 http://s3.ca-central-1.amazonaws.com
http://s3-ca-central-1.amazonaws.com
HTTP/HTTPS
Asia Pacific (Seoul) ap-northeast-2 http://s3.ap-northeast-2.amazonaws.com
http://s3-ap-northeast-2.amazonaws.com
HTTP/HTTPS
Asia Pacific (Osaka-Local) ap-northeast-3 http://s3.ap-northeast-3.amazonaws.com
http://s3-ap-northeast-3.amazonaws.com
HTTP/HTTPS
Asia Pacific (Singapore) ap-southeast-1 http://s3.ap-southeast-1.amazonaws.com
http://s3-ap-southeast-1.amazonaws.com
HTTP/HTTPS
Asia Pacific (Sydney) ap-southeast-2 http://s3.ap-southeast-2.amazonaws.com
http://s3-ap-southeast-2.amazonaws.com
HTTP/HTTPS
Asia Pacific (Tokyo) ap-northeast-1 http://s3.ap-northeast-1.amazonaws.com
http://s3-ap-northeast-1.amazonaws.com
HTTP/HTTPS
China (Beijing) cn-north-1 http://s3.cn-north-1.amazonaws.com.cn HTTP/HTTPS
China (Ningxia) cn-northwest-1 http://s3.cn-northwest-1.amazonaws.com.cn HTTP/HTTPS
EU (Frankfurt) eu-central-1 http://s3.eu-central-1.amazonaws.com
http://s3-eu-central-1.amazonaws.com
HTTP/HTTPS
EU (Ireland) eu-west-1 http://s3.eu-west-1.amazonaws.com
http://s3-eu-west-1.amazonaws.com
HTTP/HTTPS
EU (London) eu-west-2 http://s3.eu-west-2.amazonaws.com
http://s3-eu-west-2.amazonaws.com
HTTP/HTTPS
EU (Paris) eu-west-3 http://s3.eu-west-3.amazonaws.com
http://s3-eu-west-3.amazonaws.com
HTTP/HTTPS
South America (São Paulo) sa-east-1 http://s3.sa-east-1.amazonaws.com
http://s3-sa-east-1.amazonaws.com
HTTP/HTTPS

Bucket

请填写正确的存储空间名称,前后不带空格、换行、制表符等非法字符。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyId/SecretAccessKey

请在AWS控制台的IAM页面,创建用户并授予 AmazonS3ReadOnlyAccess 权限,然后再创建访问密钥。迁移完成后删除用户。

迁移存储量/迁移文件个数

请认真评估,确保与实际值相符。

Azure blob

存储账户/密钥/连接字符串

国际版,进入Azure的管理控制台,在路径 主页 > 存储帐户 > {存储帐户名称} > 访问密钥 中找到存储账户、密钥、连接字符串信息。如下图:

azure_blob

容器

容器即Azure中的container。

前缀

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

迁移存储量/迁移文件个数

在路径 主页 > testbucket2018 - Blob > container - 属性计算大小 按钮可以
计算出容器大小。如下图:

azure_blob_2

Tencent cos

迁移服务支持V4版本的COS,采用V4版本的API访问COS。

所属地区

V4版本的COS可以地域如下表,所属地区请填写地域简称

地域 地域简称 说明
北京一区(华北) tj
北京 bj
上海(华东) sh
广州(华南) gz
成都(西南) cd
新加坡 sgp
香港 hk
多伦多 ca
法兰克福 ger

Bucket

COS Bucket(存储桶)名称由 [自定义名称]-[开发商APPID] 构成。数据迁移服务的bucket配置项请填写自定义名称部分,比如 mingdi-1252883280,迁移服务的bucket项填 mingdi

Prefix

迁移指定目录下的文件,即指定前缀的文件。请以 / 开头,以 / 结尾,如 /docs/

APPID

请到控制台账号信息页面查看,如下图。

t_cos_1

SecretId/SecretKey

请从控制台 云产品 > 管理工具 > API密钥管理 进入访问控制页面,查看或新建密钥。推荐您为迁移服务新建密钥,迁移完成后删除。

迁移存储量/迁移存储量

请从控制台 云产品 > 存储 > 对象存储 进入对象存储页面,然后进入监控报表的基础数据统计页面,查看待迁移Bucket的存储量和
对象数量,如下图。

t_cos_2

七牛qiniu

Endpoint

七牛控制台进入对象存储页面,选择指定的存储空间后,在 融合CDN测试域名融合CDN加速域名 栏可以看到域名,如下图。

qiniu_0

Endpoint即http://域名,如

http://oy4jki81y.bkt.clouddn.com
http://78rets.com1.z0.glb.clouddn.com
http://cartoon.u.qiniudn.com

上面3个均为有效Endpoint,其它格式均无效。

Bucket

七牛对象存储的存储空间。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKey/SecretKey

管理控制台 > 个人面板 > 密钥管理 页面可以看到AK/SK,即AccessKey/SecretKey。请使用状态为使用中的有效AK/SK。

迁移存储量/迁移文件个数

七牛控制台进入对象存储页面,选择指定的存储空间后,进入内容管理页面,可以看到文件数和存蔟量。如下图。

qiniu_1

Baidu bos

Endpoint

目前支持“华北-北京”、“华南-广州”和“华东-苏州”三个区域。迁移服务使用Endpoint如下表:

区域 服务域名 访问协议 Endpoint
北京 bj.bcebos.com http/https http://bj.bcebos.com
广州 gz.bcebos.com http/https http://gz.bcebos.com
苏州 su.bcebos.com http/https http://su.bcebos.com

Bucket的区域请到控制台产品服务 / 对象存储BOS - Bucket管理 查看,如下图。

qiniu_0

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyID/SecretAccessKey

请到控制台安全认证 / Access Key 页面上查看,如下图。

qiniu_1

迁移存储量/迁移文件个数

控制台产品服务 / 对象存储BOS - Bucket管理 / Bucket概览 页面可以查看Bucket的存储量,文件个数请认真评估,尽量准确。

Http/https

列表地址

列表文件格式

列表文件有两列,第一列是http/https地址,地址中特殊字符请URL编码。迁移服务用该链接的Get请求下载文件内容,Head请求获取文件元数据;第二列是的文件名,迁移后的object name是prefix + 文件名,两列用制表符\t分割;每行之间换行\n分割。格式如下:

http://127.0.0.1/docs/my.doc    docs/my.doc
http://127.0.0.1/pics/my.jpg    pics/my.jpg
http://127.0.0.1/exes/my.exe    exes/my.exe

列表地址格式

迁移文件生成后,请上传到OSS。迁移服务会下载列表文件,并根据指定的地址迁移文件。列表地址的格式是 oss://{bucket}/{列表文件},示例如下:

oss://mybucket/httplist.txt

列表访问Endpoint

OSS的Endpoint支持如下四种格式:

序号 正确格式 说明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公网,以http方式上传/下载数据
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以http方式上传/下载数据
3 https://oss-cn-hangzhou.aliyuncs.com 使用公网,以https方式上传/下载数据
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以https方式上传/下载数据

OSS的Endpoint详细列表,参见访问域名

列表访问AK/SK

迁移服务需要使用该AK/SK下载列表文件。该AK/SK可以是主账号的AK/SDK;也可以是子账号的AK/SK,需要授予GetObject权限。

迁移存储量/迁移文件个数

请认真评估,确保与实际值相符。

又拍youpai

地址

即对象存储SDK的接入点,REST API中的域名,如下表。如果您不能确定自己的网络类型,请使用 http://v0.api.upyun.com

网络类型 地址 说明
智能选路 http://v0.api.upyun.com 推荐
电信线路 http://v1.api.upyun.com
联通(网通)线路 http://v2.api.upyun.com
移动(铁通)线路 http://v3.api.upyun.com

服务名称

请在控制台的云存储中查看。

迁移目录

迁移指定目录下的文件,请以 / 结尾,不要以 / 开头,如 docs/

操作员名/操作员密码

请在控制台的账号管理页面查看和添加操作员。添加您为迁移服务新建操作员,并授予 可读取 权限,如下图。

youpai_1

然后进入控制台的云存储页面,选择待迁移的服务名称,进入配置页面,选择内容管理,并授权操作员,如下图。

youpai_2

迁移存储量/迁移文件个数

请到控制台云存储的配置页面查看Bucket的存蔟量,文件个数请认真评估,尽量准确。

Kingsoft ks3

Endpoint

Region(区域)与Endpoint(域名)的对应关系如下,Bucket(存储空间)的Region请在控制台上的 存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看。

Region Endpoint
中国(北京) ks3-cn-beijing.ksyun.com
中国(上海) ks3-cn-shanghai.ksyun.com
中国(香港) ks3-cn-hk-1.ksyun.com
中国(杭州) kss.ksyun.com
俄罗斯 ks3-rus.ksyun.com
新加坡 ks3-sgp.ksyun.com

Bucket

即金山云对象存储的空间。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKey/SecretKey

请在控制台的身份与管理下的用户管理页面,创建用户并授予 KS3FullAccess 权限,然后在用户页面新建密钥。迁移完成后删除该用户。

迁移存储量/迁移文件个数

请到控制台存储与内容传输 > 对象存储 > 我的空间 > 空间详情 页面查看Bucket的存储量,文件个数请认真评估,尽量准确。

华为云OBS

Endpoint

华为云存储支持的区域如下,详见地区和终端节点

区域名称 区域 Endpoint 协议类型
华北-北京四 cn-north-4 obs.cn-north-4.myhuaweicloud.com HTTPS/HTTP
华北-北京一 cn-north-1 obs.cn-north-1.myhuaweicloud.com HTTPS/HTTP
华东-上海二 cn-east-2 obs.cn-east-2.myhuaweicloud.com HTTPS/HTTP
华东-上海一 cn-east-3 obs.cn-east-3.myhuaweicloud.com HTTPS/HTTP
华南-广州 cn-south-1 obs.cn-south-1.myhuaweicloud.com HTTPS/HTTP
西南-贵阳一 cn-southwest-2 obs.cn-southwest-2.myhuaweicloud.com HTTPS/HTTP
亚太-曼谷 ap-southeast-2 obs.ap-southeast-2.myhuaweicloud.com HTTPS/HTTP
亚太-香港 ap-southeast-1 obs.ap-southeast-1.myhuaweicloud.com HTTPS/HTTP
亚太-新加坡 ap-southeast-3 obs.ap-southeast-3.myhuaweicloud.com HTTPS/HTTP
非洲-约翰内斯堡 af-south-1 obs.af-south-1.myhuaweicloud.com HTTPS/HTTP

Bucket

即华为云存储对象存储的桶。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

AccessKeyID/SecretAccessKey

请到华为管理控制台的 我的凭证 > 访问秘钥 页面上查看。如果初次没有设置秘钥,则需要点击新增访问秘钥按钮来新增秘钥即可。

迁移存储量/迁移文件个数

请到华为元管理控制台,点击迁移的Bucket,查看Bucket的详细内容,如下图。页面中有Bucket的存储量,文件个数。
_jpeg

UCloud UFile

所属地域

即地域(Region),支持地域如下表,详见地域和可用区列表

地域名称 地域
北京 cn-bj
香港 hk
广州 cn-gd
上海二 cn-sh2
洛杉矶 us-ca
新加坡 sg
雅加达 idn-jakarta
拉各斯 afr-nigeria
圣保罗 bra-saopaulo
迪拜 uae-dubai
胡志明市 vn-sng
台北 tw-tp
孟买 ind-mumbai
华盛顿 us-ws
法兰克福 ge-fra

存储空间

即对象存储空间(Bucket)。

Prefix

迁移指定“目录”下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以 / 结尾,不要以 / 开头,如 docs/

公钥/私钥

控制台API密钥中的PublicKey/PrivateKey。

迁移存储量/迁移文件个数

请到控制台对象存储UFile,在存储空间详情的概览页面查看存储量。文件个数请认真评估,尽量准确。

相关实践学习
基于函数计算快速搭建Hexo博客系统
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
目录
相关文章
|
1月前
|
DataWorks 关系型数据库 大数据
DataWorks常见问题之数据源使用连接串模式新增 postgres 数据源报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
32 1
|
3月前
starrocks 系统参数说明
starrocks 系统参数说明
|
2月前
|
关系型数据库 Java 分布式数据库
PolarDB for PostgreSQL参数问题之参数删除失败如何解决
PolarDB for PostgreSQL是基于PostgreSQL开发的一款云原生关系型数据库服务,它提供了高性能、高可用性和弹性扩展的特性;本合集将围绕PolarDB(pg)的部署、管理和优化提供指导,以及常见问题的排查和解决办法。
|
3月前
|
关系型数据库 MySQL 数据库
dts在数据迁移过程中,如果出现“默认值超出目标数据库支持范围”的错误
dts在数据迁移过程中,如果出现“默认值超出目标数据库支持范围”的错误
26 1
|
3月前
|
SQL 监控 数据库
dts的数据迁移错误
dts的数据迁移错误
30 2
|
9月前
|
SQL Cloud Native 算法
PolarDB-X 分区建列类型变更
作为一款分布式数据库,变更表的列类型,无论变更的是否是分区键,都需要保证各个分片以及元数据的一致性,因此对于非分区键的列类型变更也不只是简简单单的下推执行就可以的,后续会有一篇文章做详细的阐述,本文主要阐述的是如何对分区键的列类型做变更。
|
12月前
|
存储 关系型数据库 MySQL
数据同步ADB,源库与目标库数据类型不一致
MySQL全库结构同步至ADB场景中,源库mysql上字段类型是ulong,同步到ADB上字段类型转变为decimal,为什么数据类型不一致、有什么解决方案
|
SQL 存储 Cloud Native
PolarDB-X 1.0-用户指南-实例管理-参数设置
您可以在控制台上查看PolarDB-X 1.0实例和数据库相关的参数说明,还可以自定义修改这些参数值。 注意事项 只读实例仅支持设置数据库级参数,不支持实例级的参数设置。 部分参数仅支持特定的实例版本,详请请参见参数说明。
251 0
PolarDB-X 1.0-用户指南-实例管理-参数设置
|
分布式计算 DataWorks 关系型数据库
DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?
数据集成mysql-to-odps支持将timestamp时间戳类型数据同步为odps的datetime类型
3115 0
DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?