开发者学堂课程【SaaS 模式云数据仓库实战：Hadoop 数据如何同步至MaxCompute
】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/761/detail/13345
Hadoop 数据如何同步至 MaxCompute
2.使用 network-measurement-tool
测试 Hadoop 集群到 MaxCompute 各 Region 的网络连通质量
测试网络上下行传输速率
使用方法
Example
自动生成MaxCompute的DDL
3.使用meta-processor生成ODPS DDL和Hive UDTF SQL
修改globle.json，自定义表、字段的生成规则︰
生成ODPS DDL和Hive UDTF SQL了
Hive SQL语法自动检查
4. 使用sql-checker检查Hive SQL是否可以直接在MaxCompute执行
输出SQL是否存在语法错误及修改建议
自动创建MaxCompute表和分区
5.使用odps_ddl_runner.py批量创建表和分区
ODPS DDL创建好以后，运行odps_ddl_runner.py，将会遍历meta-processor生成的目录，调用odpscmd自动创建ODPS表与分区∶
自动迁移数据到MaxCompute
6.使用hie_udtf_sql_runner.py迁移数据
表和分区创建完成以后，运行hive_udtf_sql_runner.py，将
数据从hive上传至MaxCompute。
hive_udtf_sql_runner.py有两种模式，第一种将会遍历meta-processor生成的目录，调用hive client运行hive udtf sql，从而将数据从hive上传至ODPS。第二种模式需要用户手动指定一个hive sql文件。
进阶功能1：仅生成指定database或table的metadata
在前面的Demo中，抓去hive中所有database和表的metadata，但在很多环境下，倾向于一次处理一个database或—张表，因此meta-carrier工具提供了抓取指定database或table的metadata的能力∶
执行: sh odps-data-carrier/bin/meta-carrier -u thrift://127.0.0.1:9083 -d test -t test -o meta
可以看到，生成的metadata仅包含了test.test这张表
生成meta时，可以不生成整个数据库的meta，可以指定一个表，只生成一个表的meta
进阶功能2︰仅灵活的hive到max compute映射
在前面的Demo中，将hive的test.test表映射到mc中ODPS_DATA_CARRIER_TEST.test这张表，然而提供了更强大的能力，比如说修改hive表到mc的表明与列名映射，设置mc中表的life cycle，增加comment，等等。
用户可以编辑meta-carrier生成的metadata来做到上述的事情，
直接修改json文件
进阶功能3∶单表/单分区迁移
在运行hive sql进行数据迁移的时提供了两种模式: input_all模式与input_single_file模式。
在input_all模式下，给一个meta-processor生成的目录，之后odps_hive_udf_runner会自动遍历该目录下的文件，并串行执行里面的hive sql，例如︰
python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all processed/
在input_single_file模式下，给一个hive sql文件路径，odps_hive_udtf_runner会从该文件中读取hive sql并执行。例如∶
python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_single_fileprocessed/test/hive_udtf_sql/single_partition/test_0.sql
input_single_file模式可以帮助熟悉工具，并且在数据量大的场景下可以控制迁移的进度。
使用Dataworks自动迁移数据和工作流
（1）安装MMA Agent客户端工具:采集
Metadata&生成ODPS DDL
参照【MMAAgent操作说明】的第1、2步骤。
（2）上传Dataworks项目描述文件
根据模板(参见右图)生成DataWorks项目描述文档,打包为: dataworks_project.tgz上传到Dataworks。
【注意】︰一期仅支持:1)打包文件手动上传;2)支持OOIZE调度引擎的配置模板和Dataworks工作流配置模板。
上传完成后，Dataworks服务会根据ODPS DDL批量生成MaxCompute的table。
MaxCompute的表创建完成后，Dataworks服务会自动拉起DataX的数据同步任务，完成批量数据迁移。
是一个线下工具，基于客户端生成的meta工具要放入，根据模板生成目录，使用开源组件，可以在模板中按照相应的配置放入相应的目录下，包括工作流的脚本，使用不是开源的组件，基于标准化的模板，将工作流的数据生成，打成zip包，zip包手动上传，在后台有服务，将上传的zip包自动解析，自动加载到Dataworks工作流
（3）项目描述文件（/project.xml）说明
tenantld:用户在dataworks上的租户ID;
name:用户事先在dataworks上创建好的项目空间名称;
owner:用户的阿里云账号ID。
（4）工作流描述文件(/workflow.xml)说明
type |
DataWorks对应概念 |
DI |
数据集成类型的节点 |
VIRTUAL |
虚拟节点 |
ODPS_SQL |
Max Compute SQL类型节点 |
通过编辑配置文件修改
其他类型作业的迁移方案
（1）UDF、MR迁移
支持相同逻辑的UDF、MR输入、输出参数的映射转换，但UDF和MR内部逻辑需要客户自己维护。
【注意】︰不支持在UDF、MR中直接访问文件系统、网络访问、外部数据源连接。
（2）外表迁移
原则上全部迁到MaxCompute内部表。
如果必须通过外表访问外部文件，建议先将文件迁移到OSS或者OTS，在MaxCompute中创建外部表，实现对文件的访问。
【注意】︰MaxCompute外部表支持的格式包括:ORC、PARQUET、SEQUENCEFILE、RCFILE、AVRO和TEXTFILE。
将jar包上传到MaxCompute中，需要先开启2.0的支持，需要开启Hive兼容
（3）Spark作业迁移
①【作业无需访问MaxCompute表和OSS】用户jar包可直接运行，参照_《MaxCompute Spark开发指南》第二节准备开发环境和修改配置。注意，对于spark或hadoop的依赖必须设成provided。
②【作业需要访问MaxCompute表】参考_《MaxCompute
Spark开发指南》第三节编译datasource并安装到本地maven仓库，在pom中添加依赖后重新打包即可。
③【作业需要访问OSS】参考_《MaxCompute Spark开发指南》第四节在pom中添加依赖后重新打包即可。
对开源语法完全兼容，只需下载客户端
查看迁移评估报告使用MMA Agent获得评估报告
报告中将搬站风险分为两档,高风险(HIGH RISK)与中等风险(MODERATE RISK)。
高风险意味着必须人工介入，例如出现了表名冲突，ODPS完全不支持的类型等问题。
中等风险意味着迁移过程中可以自动处理,但是需要告知用户的潜在风险，例如Hive数据类型到ODPS数据类型会带来的精度损失等问题。以下是一个报告的例子。
