Github 1.9K Star的数据治理框架-Amundsen

简介: Github 1.9K Star的数据治理框架-Amundsen

Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性

这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐。可用的工具很多但各有千秋,数据血缘做的较好的应该是Apache Atlas,而数据可视化做的较好的应该是Apache Superset。业界一直需要一个可以整合这些功能,让数据治理更加的简单便捷,而这正是Amundsen的使命。

类似于Atlas (Apache),Datahub (LinkedIn)。Amundsen主要在于提高数据分析师,数据科学家和数据工程师的工作效率。它可以通过为数据资源建立索引,并通过一定的机制来支持在页面上进行排名搜索。可以将其视为搜索功能,但搜索的是元数据。该项目以挪威探险家Roald Amundsen(第一个发现南极的人)的名字命名。

Amundsen由LF AI&Data基金会维护。LF AI&Data是Linux Foundation的保护基金会,支持人工智能,机器学习,深度学习和数据方面的开源创新。

微信图片_20220528150211.png

目前Amundsen在github有1.9kStar,还没有Releases的版本,项目正处于蒸蒸日上的上升期。

微信图片_20220528150215.png

架构


下图显示了Amundsen的总体架构。

微信图片_20220528150218.png

可见,Hive,Presto等数据源通过Databuilder ingestion框架获取元数据,写入Elasticsearch和Neo4j,通过搜索服务与元数据服务提供给前端。

主要模块如下:

前端服务

作为用户交互的web页面。

这是基于Flask的Web应用程序,页面是React构建的。

搜索服务

搜索服务采用Elasticsearch的搜索功能(或者Apache Atlas),并提供一个RESTful API服务。

元数据服务

元数据服务目前使用的Neo4j的图数据库进行交互。


功能展示


Amundsen提供了搜索,推荐,表描述,数据预览在内的非常多的功能,数据血缘功能正在研发中。

以上是部分功能展示:

登陆页面:Amundsen的登陆页面

微信图片_20220528150222.png

搜索预览:查看搜索结果

微信图片_20220528150225.png

表的详细页面:Hive 等表的可视化

微信图片_20220528150229.png

列详细信息:主要是一些列的统计信息

微信图片_20220528150232.png

数据预览页面:表数据预览的可视化,可以与Apache Superset或其他数据可视化工具集成。

微信图片_20220528150235.png

集成


Amundsen支持的数据源非常多。

Apache Druid,Apache Hive,CSV,Oracle,

Mysql,Delta Lake等等。

Amundsen还可以连接到任何提供dbapisql_alchemy接口的数据库。

同时Amundsen还支持和一些仪表盘的集成,比如

Redash,Tableau。

ETL工具的集成,Apache Airflow。

BI可视化工具,Apache Superset。


未来规划


作为数据治理领域的未来之星,Amundsen有着非常好的计划。

2021年愿景

可以和所有的数据源进行集成,解决越来越多的数据治理问题。

近期工作重点

数据血缘(设计完成)

集成数据质量系统(进行中)

列值过滤(已开始)

搜索结果层次结构(计划中)

当然,还有很多计划中的功能,这里不一一列举。

相关文章
|
3月前
|
存储 人工智能 自然语言处理
Github上的十大RAG(信息检索增强生成)框架
信息检索增强生成(RAG)是一种结合了检索系统和生成模型优势的技术,能够显著提升大型语言模型的性能。RAG通过从外部知识库中检索相关信息,增强模型的输入,从而生成更加准确、符合上下文、实时更新的响应。GitHub上涌现出多个开源RAG框架,如Haystack、RAGFlow、txtai等,每个框架都有独特的功能和特性,适用于不同的应用场景。这些框架不仅提高了模型的准确性和可靠性,还增强了过程的透明度和可解释性。
375 2
|
8月前
|
Rust Linux iOS开发
|
5月前
|
算法 数据处理 数据安全/隐私保护
|
5月前
|
数据采集 数据可视化 算法
GitHub星标68K!Python数据分析入门手册带你从数据获取到可视化
Python作为一门优秀的编程语言,近年来受到很多编程爱好者的青睐。一是因为Python本身具有简捷优美、易学易用的特点;二是由于互联网的飞速发展,我们正迎来大数据的时代,而Python 无论是在数据的采集与处理方面,还是在数据分析与可视化方面都有独特的优势。我们可以利用 Python 便捷地开展与数据相关的项目,以很低的学习成本快速完成项目的研究。
|
5月前
|
数据采集 数据可视化 算法
GitHub星标68K!Python数据分析入门手册带你从数据获取到可视化
Python作为一门优秀的编程语言,近年来受到很多编程爱好者的青睐。一是因为Python本身具有简捷优美、易学易用的特点;二是由于互联网的飞速发展,我们正迎来大数据的时代,而Python 无论是在数据的采集与处理方面,还是在数据分析与可视化方面都有独特的优势。我们可以利用 Python 便捷地开展与数据相关的项目,以很低的学习成本快速完成项目的研究。 今天给小伙伴们分享的这份Python数据分析入门手册本着实用性的目的,着眼于整个数据分析的流程,介绍了从数据采集到可视化的大致流程。
|
6月前
|
人工智能 分布式计算 BI
透视开源生态,OSGraph——GitHub全域数据图谱的智能洞察工具
【7月更文挑战第5天】透视开源生态,OSGraph——GitHub全域数据图谱的智能洞察工具
透视开源生态,OSGraph——GitHub全域数据图谱的智能洞察工具
|
8月前
|
开发者 Python
新手困扰?该如何了解github的热门趋势和star排行?
新手困扰?该如何了解github的热门趋势和star排行?
272 0
|
6月前
|
机器人 vr&ar 计算机视觉
|
6月前
|
Go 数据库 时序数据库
go使用 github.com/influxdata/influxdb/client/v2 写数据到 influxdb
go使用 github.com/influxdata/influxdb/client/v2 写数据到 influxdb
94 0
|
7月前
|
Shell Python
GitHub星标破千Star!Python游戏编程的初学者指南
Python 是一种高级程序设计语言,因其简洁、易读及可扩展性日渐成为程序设计领域备受推崇的语言。 目前的编程书籍大多分为两种类型。第一种,与其说是教编程的书,倒不如说是在教“游戏制作软件”,或教授使用一种呆板的语言,使得编程“简单”到不再是编程。而第二种,它们就像是教数学课一样教编程:所有的原理和概念都以小的应用程序的方式呈现给读者。