MaxCompute表设计最佳实践
MaxCompute表设计最佳实践
产生大量小文件的操作
MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作。
使用MaxCompute Tunnel SDK上传数据,上传过程中,每commit一次就会产生一个文件。
MaxCompute数仓维护心得-五叶草
在维护客户基于MaxCompute搭建的数据仓库时,我们遇到过一些问题,踩过一些坑,同时积累了一些经验,也初步形成了一套操作流程规范,在这里与大家以Tip的形式与大家分享一下。
Tip1.避免同步视图
同步的源数据要避免使用视图,在客户的生产环境上曾经出现过这样的情况:由于生成视图的存储过程优化不好,同步视图在同步任务发起请求后很久没有生成出来,导致同步任务及后续的ETL挂起达数小时之久,所以后续和数据提供方接洽,将数据源从视图换为表,保证在同步之前同步表里的内容已经更新。
什么?你还不会使用DataWorks调度?
在DataWorks的强大功能背景的支持下,经过交互式分析加速查询的数据(MaxCompute、实时计算),可以通过HoloStudio直接对接到数据服务、调度等模块,轻松实现大数据的一站式开发对接。今天小编就来为大家讲讲,HoloStudio中的数据如何在Dataworks中实现周期性调度,搬好板...