开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

一站式入湖需要解决哪些问题?

一站式入湖需要解决哪些问题?

展开
收起
Lee_tianbai 2021-01-07 16:12:30 814 0
1 条回答
写回答
取消 提交回答
  •  支持异构数据源统一的入湖方式

    提供一个简单统一的入湖方式,用户可以通过简单的页面配置实现异构数据源的入湖操 作。

     满足数据入湖的时效性

    对于日志、binglog 等类型的数据源,需要实现分钟级延迟的数据入湖能力,满足实时 交互式 分析场景对时效性的要求。

     支持数据源的实时变更

    对于数据库、TableStore Tunnel 等类型的数据源,源头数据会经常发生变更,比如 数据层面的 update,delete 等操作,甚至 schema 层面的字段结构变更. 需要利用更好 的数据格式来支持这类变更行为。

    为此,阿里云新推出了数据湖构建(Data Lake Formation,DLF)服务,提供了 完整的一站式入湖解决方案。

    2021-01-07 16:12:58
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
Hologres 一站式实时数仓客户案例集 立即下载
基于MaxCompute快速打通数仓和数据湖:湖仓一体实践 立即下载
Hologres物化视图升级 构建企业一站式实时数仓 立即下载