峰七（林学维）_个人页

Spark SQL repartition 为啥生成的文件变大了？

Maxcompute Spark 访问 阿里云 Hbase

引子 本来这个东西是没啥好写的，但是在帮客户解决问题的时候，发现链路太长，不能怪客户弄不出来，记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新，本文不是文档) Spark 配置 spark.

记一个压缩格式的问题

问题描述 Hive ORC table常规小文件过多问题，于是用Spark写了一个Application来自动的Merge分区数据，思路很简单大概就是 insert overwrite table partition (分区 XXX) select * from table where (分区 XXX)当然已经把该dataframe repartition到想要的目标并发度，来控制最终分区下的文件个数 但是发现生成的文件个数虽然是对的，但是最后整个分区的Size竟然几乎翻倍。

【公共云支持】MaxCompute Spark支持交互式Zeppelin

【公共云支持】MaxCompute Spark支持交互式Zeppelin

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业？？？

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业？？？