Presto 是由Facebook 公司开发的一款分布式查询引擎,其主要特点是支持了非常多的Connector,从而实现在一个平台上连接多个数据源,并且可以将这些数据源的内容进行聚合计算, 同时Presto 也支持使用者自行开发新的Connector。 并且,Presto 的计算过程全程是基于内存的,所以速度也是非常的快,但其实Presto 也只是针对个别计算场景的性能优化会非常明显,网上有非常详细的分析文章。之前使用该工具是为了将离线数仓和实时数仓的数据进行联合查询,提供给实时数据平台使用。
在使用过程中我觉得有点不好的地方有三点。一是因为Presto 基于内存计算,所以在资源紧张的情况下经常Crash导致任务失败。二是Presto 任务为串行提交,所以会出现大任务阻塞小任务的情况出现。或许通过调参可以解决该问题吧,但没有再深入调研了。三是没有找到一个比较好的Web 平台去查询Presto,网上有Hue 通过PostgreSQL 去链接Presto 的方案, 觉得有点麻烦, 看上去比较成熟的Airpal 平台也已不再更新了。最后使用了yanagishima,基本功能可以满足,但该平台没有用户管理功能,没法控制权限。
以上内容摘自《高德技术2020年刊合集》电子书,点击https://developer.aliyun.com/topic/download?id=1135可下载完成版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。