MaxCompute表设计最佳实践
MaxCompute表设计最佳实践
产生大量小文件的操作
MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作。
使用MaxCompute Tunnel SDK上传数据,上传过程中,每commit一次就会产生一个文件。
业务流程多节点依赖调度配置实践
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
阿里云物联网平台数据转发到DataHub示例
您可以使用规则引擎将数据转到DataHub上,再由DataHub将数据流转至实时计算、MaxCompute等服务中,以实现更多计算场景。本文主要演示通过规则引擎将消息流转到DataHub,并通过Dataconnector 将消费流转到MaxCompute的表。
新老DataHub迁移手册
原Odps版内测DataHub,于2016年11月21日起已经处于维护状态,新版DataHub届时已经开启公测,公测至今已有一年时间,我们决定开始逐步下线老DataHub服务,老版部分用户需要迁移至新版DataHub。
Dataphin
Dataphin 是阿里云推出的一款数据智能化开发平台,主要面向企业级用户,提供了数据开发、数据治理、数据服务、数据分析等一系列功能,支持多种数据源和数据类型,旨在帮助用户快速构建数据中台和数据智能化应用。