开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云DataWorks是如何解决元数据管理问题的?

阿里云DataWorks是如何解决元数据管理问题的?

展开
收起
Lee_tianbai 2021-01-07 16:36:21 2823 0
1 条回答
写回答
取消 提交回答
  • 用户的湖上数据需要有个统一集中的管理能力,这就成了数据湖的第一个核心能力。 DataWorks 的数据治理能力便是用来解决数据湖中的各类存储系统的元数据管理的。目前 它管理了云上 11 中数据源的元数据。涵盖 OSS、EMR、MaxCompute、Hologres、 mysql、PostgreSQL、SQL Server、Oracle、AnalyticDB for PostgreSQL、 AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0 等云上主要数据源类型的 元数据管理。功能上涵盖元数据采集、存储检索、在线元数据服务、数据预览、分类打标、 数据血缘、数据探查、影响分析、资源优化等能力。

    2021-01-07 16:36:39
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
阿里云AnalyticDB+Data Works 企业数仓构 立即下载
AnalyticDB+DataWorks企业数仓构建方案 立即下载
INFINIDATA:基于Spark的统一数据管理与探索平台 立即下载