DRDS向ADS数据迁移指南
1 CDP简介
数据同步节点任务是阿里云大数据平台对外提供的稳定高效、弹性伸缩的数据同步云服务。用户利用数据同步节点可以轻松地实现DRDS到ADS的数据同步。使用CDP将DRDS数据同步至ADS前需要在目标端创建相应的表结构,同步数据的具体操作如下:
2 配置数据源
2.1 增加DRDS数据源
1.登录Base管控台,单击顶部菜单栏中的项目管理,并选择相应的项目。
SparkSQL自适应执行
阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能,用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。
直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”
2017天猫双11, 交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒,再次刷新了记录。阿里集团基础设施蜻蜓,在双11期间,对上万台服务器同时下发5GB的数据文件,让大规模文件分发靠蜻蜓系统完美实现。
朗新科技林海潮:企业应用的云上架构演变
2016云栖大会上海峰会于2016.1.20日在上海科技馆顺利举办。本文是根据朗新科技首席架构师林海潮在2016云栖大会上海峰会《互联网+架构及实践专场》的演讲中分享内容整理而成,林海潮分享了传统行业在使用云架构时采用的技术和一些心得收获。
下面是演讲内容整理。
业务场景及挑战