开发者社区> 隐林> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

自建Hadoop迁移阿里云MaxCompute实践-持续更新2018/9/13

简介: Hadoop迁移MaxCompute的文章教程应该不少,比如前不久刚刚发布的《Hadoop数据迁移到MaxCompute最佳实践》https://help.aliyun.com/video_detail/88429.
+关注继续查看

Hadoop迁移MaxCompute的文章教程应该不少,比如前不久刚刚发布的

《Hadoop数据迁移到MaxCompute最佳实践》https://help.aliyun.com/video_detail/88429.html  

理论与实践:如何从Hadoop迁移到MaxCompute https://yq.aliyun.com/articles/639294

https://yq.aliyun.com/articles/637482


但用户实际迁移还是会遇到一些问题,我会定期整理一些数据迁移和脚本迁移遇到的问题及解决方案,帮助企业快速拥有阿里巴巴同款数据仓库,构建自己的数据中台,并开展数据业务;


网络问题:

1、自建机房如何连通阿里云MaxCompute

方案:通过物理专线访问VPC中的云服务  https://help.aliyun.com/document_detail/57195.html


2、MaxCompute 经典网络和VPC访问配置

方案:参考 https://help.aliyun.com/document_detail/34951.html

Region名称 所在城市 开服状态 VPC网络Endpoint VPC网络Tunnel Endpoint
华东1 杭州 已开服 http://service.cn.maxcompute.aliyun-inc.com/api http://dt.cn-hangzhou.maxcompute.aliyun-inc.com
华东2 上海 已开服 http://service.cn.maxcompute.aliyun-inc.com/api http://dt.cn-shanghai.maxcompute.aliyun-inc.com
华北2 北京 已开服 http://service.cn.maxcompute.aliyun-inc.com/api http://dt.cn-beijing.maxcompute.aliyun-inc.com

3、数据同步慢

方案:建议走VPC专线和经典网络,公网比较慢;另外,如果通过tunnel上传,命令行添加参数 -threads 10 ,数据切片;


数据同步问题:

1、 HDFS-MaxCompute 

方案:自己部署DataX或使用阿里云数据集成(官方版本DataX),DataX还支持DataX-On-Hadoop(提工单申请)

https://yq.aliyun.com/articles/638606

https://help.aliyun.com/document_detail/47677.html


2、同步数据时分区字段里面有月份需要截取

方案:shell+datax自定义资源组(除华东2提工单),在shell中对月份进行处理,如/user/hive/ods/hivetable/op_year=2018/op_month=8/op_day=1



任务迁移问题:

1、每天几百个任务如何批量导入?

方案:使用Dataworks任务同步工具(内测,提工单)


SQL问题:


1、Hadoop库如何映射MaxCompute

方案:简单的话是一对一,或者可以按照合适的纬度(比如业务部门)重新划分整合后再对应到Dataworks/MaxCompute的多个projects,这样方便后续管理。


2、字段类型

兼容date类型

方案:date类型需要set odps.sql.type.system.odps2=true;set odps.sql.hive.compatible=true;

其他需要set flag的字段类型参考https://help.aliyun.com/document_detail/27821.html


3、系统参数

兼容CURRENT_TIMESTAMP

方案:set odps.sql.type.system.odps2=true;set odps.sql.hive.compatible=true;


兼容${hiveconf:ymd}

方案:替换成${bdp.system.bizdate}



4、函数

兼容to_date(SUBSTR('2018-08-24 16:58:21.284',1,10),'yyyy-mm-dd')

方案:需要改写,select cast(cast('2018-08-24 16:58:21.284' as timestamp) as date); 



兼容from_unixtime(unix_timestamp(cast(ds as string),'yyyymmdd'),'yyyy-mm-dd')

方案:ds是date类型,需要set odps.sql.type.system.odps2=true;set odps.sql.hive.compatible=true;


grouping sets/rollup/cube

方案:MaxCompute近期开放


5、表达式

兼容字段值为null时比较大小

方案:set odps.sql.type.system.odps2=true;set odps.sql.hive.compatible=true;


兼容string 与 数值类型直接关联

方案:set odps.sql.type.system.odps2=true;set odps.sql.hive.compatible=true;


兼容map() cnt

方案:null as cnt


插入动态分区数据为空,INSERT OVERWRITE TABLE ods_log partition (ymd) select 20180910 as ymd from ods_log

方案:套一层select,20180910 as ymd 是个常量,会被当成静态分区来处理,改写为INSERT OVERWRITE TABLE ods_log partition (ymd) select * from (select 20180910 as ymd from ods_log) t


DML、DDL区别

方案:https://help.aliyun.com/document_detail/54051.html


与Hive数据类型映射表

参考:https://help.aliyun.com/document_detail/54081.html


相关问题:

1、如何连接Tableau和BDP、QuickBI

方案:通过MaxCompute Lightning (公测),走PostgreSql协议;



未完待续...

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云 MaxCompute 2022-7月刊
本刊为您带来 2022年7月 MaxCompute 产品最新动态及精彩活动回顾。
124 0
阿里云MaxCompute权限管理和安全配置文档问卷调研
为了提升MaxCompute权限管理和安全配置文档的质量,确保文档能更好地为您服务,本次问卷调研重点收集您对这两个模块文档的意见或建议,问卷填写大概需要花费您5-10分钟。您的反馈对文档改进尤为重要,期待收到您的反馈~
127 0
阿里云 MaxCompute 2021-10 月刊
2021年10月,MaxCompute集成观远数据(GuanData)BI工具(商业化)发布,MCQA(MaxCompute Query Acceleration)查询缓存机制商业化发布,外表支持Hbase增强版和云原生多模数据库 Lindorm。
761 0
使用MaxCompute连接访问Hologres开发实践
很多客户使用MaxCompute和Hologres的集成方案同时满足大规模离线分析、实时运营分析、交互式查询及在线Serving等多业务场景。MaxCompute和Hologres之间支持相互读写对方数据,能够消除不必要的数据冗余,形成有效的数据分层并支持离线/实时统一视图和联合分析。本文重点介绍了MaxCompute如何访问Hologres数据的开发实践。
1875 0
阿里云MaxCompute 2019-10 月刊
MaxCompute支持分区合并,支持VPC网络IP白名单设置,支持自然连接NATURAL JOIN等新功能尽在10月刊。
4531 0
阿里云MaxCompute 2018-09月刊
阿里云 MaxCompute 2018-09 新功能发布汇总,更有技术干货、最佳实践、云栖头条及程序人生的精彩博文推荐,欢迎阅读。
3442 0
Hadoop数据迁移MaxCompute最佳实践
本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。您也可以参考本文进行MaxCompute数据到Hadoop的反向迁移。
9516 0
阿里云双11访谈之MaxCompute
在阿里云双11访谈MaxCompute专场中,MaxCompute资深运营专家祎休为大家简单介绍了阿里云的MaxCompute平台的基本情况,并且为大家分享了MaxCompute如何帮助用户快速架构大数据仓库的。
3492 0
阿里云大数据MaxCompute计算资源分布以及LogView分析优化
MaxCompute(原ODPS)的概念 海量数据处理平台,服务于批量结构化数据的存储和计算,提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节,从而达到分析大数据的目的。
5944 0
《阿里云周刊》第5期 MaxCompute 2.0重磅发布!
阿里云周刊 Alibaba Cloud Weekly News 第4期 汇聚阿里云一周最新动态,为您了解阿里云相关产品、发展并参与相关活动提供参考。
4884 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载