melin
melin_个人页
melin
文章
0
问答
1
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Python
- 数据库
暂无更多信息
暂无更多信息
-
回答了问题
2019-07-17
我有个问题想请教一下， 对于spark处理小文件，有没有什么优化方法
spark只一个开源项目，不会考虑这些碎片文件问题，建议平台，这样在spark 任务运行完以后做自己想要做的事情，例如合并碎皮文件，获取数据血缘信息等。![image] 有需要可以联系我。(https://yqfile.alicdn.com/0702bce22ca8bf9f381a2860b1aa8f1232cf0534.png) spark只一个开源项目，不会考虑这些碎片文件问题，建议平台，这样在spark 任务运行完以后做自己想要做的事情，例如合并碎皮文件，获取数据血缘信息等。![image] 有需要可以联系我。赞0 踩0 评论0
滑动查看更多
暂无更多信息