MaxCompute生态与开放性
MaxCompute是阿里自研的大数据云数仓,同时也兼容大部分大数据生态系统。一个平台不能完成所有功能,解决所有问题,MaxCompute需要依赖大数据生态,才能走的更远。
MaxCompute表设计最佳实践
MaxCompute表设计最佳实践
产生大量小文件的操作
MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作。
使用MaxCompute Tunnel SDK上传数据,上传过程中,每commit一次就会产生一个文件。