数据湖统一元数据服务需要具备哪些能力和价值?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

数据湖统一元数据服务需要具备哪些能力和价值?

来自:阿里云EMR 2021-01-07 16:01:38 378 1

数据湖统一元数据服务需要具备哪些能力和价值?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:02:06

     提供统一权限、元数据管理模块:统一的权限/元数据管理模块是各类引擎和存储互通 的基础,不仅权限/元数据模型需要满足业务对于权限隔离的需要,也需要能够合理支 持目前引擎的各种权限模型。

     提供大规模元数据的存储和服务能力,提升元数据服务能力极限,满足超大数据规模和 场景。

     提供存储统一的元数据管理视图:将各类存储系统(对象、文件、日志等系统)上数据 进行结构化既能够方便数据的管理,也因为有了统一元数据,才能进行下一步的分析和 处理。

     支撑丰富的计算引擎:各类引擎,通过统一元数据服务视图访问和计算其中的数据,满 足不同的场景需求。比如 PAI/MaxCompute/Hive 等可以在同一份 OSS 数据上进行 计算和分析。通过引擎支撑的多样化,业务场景将越来容易进行场景转换和使用。

     元数据操作的追溯/审计。

     元数据自动发现和收集能力:通过对文件存储的目录/文件/文件格式的自动感知,自动 创建和维护元数据的一致性,方便存储数据的自动化维护和管理。

    0 0
相关问答

3

回答

怎样进钉钉2个群

游客6bdmn27yntop2 2020-03-12 13:30:20 3443浏览量 回答数 3

2

回答

阿里云云原生数据库是什么,有什么作用?

Lee_tianbai 2021-01-07 15:15:47 809浏览量 回答数 2

1

回答

如果开传奇,同时在线4-5个版本需要什么配置云服务器多少带宽

木茶 2020-10-09 20:01:18 982浏览量 回答数 1

2

回答

什么是数据湖?

Lee_tianbai 2021-01-07 15:17:49 699浏览量 回答数 2

1

回答

数据湖要解决的三大问题是什么?

Lee_tianbai 2021-01-07 16:35:06 779浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决元数据管理问题的?

Lee_tianbai 2021-01-07 16:36:21 1158浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据集成问题的?

Lee_tianbai 2021-01-07 16:37:07 814浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据开发问题的?

Lee_tianbai 2021-01-07 16:38:51 862浏览量 回答数 1

1

回答

为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?

Lee_tianbai 2021-01-07 15:09:16 771浏览量 回答数 1

1

回答

常见的 CDC 方案实现之binlog 实时同步是什么?

Lee_tianbai 2021-01-07 16:25:07 705浏览量 回答数 1
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载