Datahub 0.8.5发布! 通用的元数据搜索和发现工具

简介: Datahub 发布了最新的版本0.8.5,作为LinkedIn开源的通用的元数据搜索和发现工具。Datahub近一年来有了巨大的发展,也成为了很多公司进行元数据管理的调研方向并进行使用的选择。

新功能


0.8.5版本中datahub修复了各种稳定性的修复,并改进了多个数据源的元数据获取方式,包括mongodb、looker、hive、snowflake。

在采用React重构前端以后,datahub的可视化功能得到了极大的提高。

微信图片_20220528162045.gif

但对于功能方面的改进,DataHub 也没有停止。


功能简介


Datahub目前提供了如下功能:

  • 搜索:全文和高级搜索,搜索排名
  • 浏览:浏览可配置的层次结构
  • 架构:表格和 JSON 格式的表和文档架构
  • 粗粒谱系:支持数据集级别的谱系,下游/上游的表格和图形可视化
  • 所有权:显示数据集的所有者,查看您拥有的数据集
  • 数据集生命周期管理:弃用/取消弃用,表面删除的数据集并用“已删除”标记它
  • 机构知识:支持向任何数据集添加自由格式的文档

微信图片_20220528162049.png

而新的功能也在开发当中。根据开发路线图,细粒度的血缘关系也将会很快推出。


架构


不得不提到datahub的架构。

datahub由datahub ingestion,datahub fraontend,datahub serving三部分构成。

分为负责元数据的采集,存储与可视化展示。

这种架构让datahub可以非常灵活的进行各种数据源的对接与功能改进。

微信图片_20220528162053.png

相信随着社区的不断活跃,datahub将在元数据管理领域大放异彩!

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
4月前
|
存储 缓存 数据库
PB数据毫秒级搜索之Elasticsearch(二)基础了解
PB数据毫秒级搜索之Elasticsearch(二)基础了解
93 0
|
5月前
|
自然语言处理 JavaScript 前端开发
使用Pagefind为VitePress文档添加离线全文搜索能力
前言 VitePress 相信大家都或多或少听说过或者用过了 默认 UI相比 VuePress2.x 好看,启动速度也快(由Vite驱动,当然VuePress也可以切换构建引擎至Vite) 做内容定制也相对简单,笔者的很多静态文档站点(使用VuePress1.x),文章内容多的时候启动非常的慢,于是就从之前的 VuePress 迁移到了 VitePress,并做了一个博客主题 @sugarat/theme => 之前也有过介绍一个简约风的VitePress博客主题 但是 VitePress 官方目前还没有内置开箱即用的搜索能力(相关PR还在施工中)
|
8月前
|
SQL 存储 分布式计算
MaxCompute元数据使用实践--项目信息统计
MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息,您可以一次性拉取您同一个元数据中心下所有Project的某类元数据,从而进行各类元数据的统计分析。
522 0
|
新零售 自然语言处理 运维
一文详解 | 开放搜索兼容Elasticsearch做召回引擎
开放搜索发布开源兼容版,支持阿里云Elasticsearch做搜索召回引擎,本文详细介绍阿里云ES用户如何通过接入开放搜索兼容版丰富行业分词库,提升查询语义理解能力,无需开发、算法投入,即可获得淘系同款搜索效果。
1286 0
|
10月前
|
Java API Maven
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
78 1
|
11月前
|
存储 搜索推荐 大数据
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的基本检索的特殊检索
Elasticsearch还支持一些特殊的查询语言和结构,以更加灵活地搜索数据库中的信息。
150 2
|
11月前
|
存储 搜索推荐 大数据
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的文档操作的同义词
搜索引擎Elasticsearch是一种流行的大数据存储和分析工具,它可以通过API来进行数据索引、查询和分析等操作。在本文中,我们将会介绍Elasticsearch的文档操作之一:同义词。
61 0
|
11月前
|
存储 自然语言处理 搜索推荐
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的文档操作的分词
搜索引擎Elasticsearch是一种流行的大数据存储和分析工具,它可以通过API来进行数据索引、查询和分析等操作。在本文中,我们将会介绍Elasticsearch的文档操作之一:分词。
62 1
|
11月前
|
存储 搜索推荐 Ubuntu
大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)的文档操作的推荐
今天我要向大家介绍一款大数据数据存储的搜索引擎Elasticsearch的基本操作(含API使用)。
96 0
|
11月前
|
存储 搜索推荐 大数据