首先我们看到的是我们原先是自建的Hadoop集群,难以维护,因为成本很高。我们经过了一年的努力,把整个Hadoop集群换成了MaxCompute,这样的效果很明显,我们的运维成本降低了1倍,计算速度增加了8倍,保证了我们快速交付ETL等计算处理的能力,给到业务线来使用。第二个问题,我们遇到了很多数据安全的问题,自建的Hadoop集群没办法做数据审计,所以我们用到了阿里云的敏感数据保护产品 SDDP,来进行数据的分级分类,保护我们的产品,实现数据的零泄漏。同时我们自建的Presto集群做交互式查询时和我们的MaxCompute又不能相互融合,我们调研了以后发现Hologres的产品,相对来讲比Presto性能更好一些,所以我们用Hologres 的产品代替了Presto,保证了我们可以直接从MaxCompute里查询,使整个交互实现了无缝对接。接着我们遇到了一些数据模型,数据建模的产品,目前还在调研 Dataphin产品,实现整个的数据模型的建设。我们最大的痛点是实时大屏的性能问题,这个时候我们发现用Flink的技术,再加上QuickBI能解决我们的前端和后端的问题。以上信息摘自《大数据与ai的16种可能》,下载地址:https://developer.aliyun.com/topic/download?id=8237
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。