Atlas集成外部组件—集成Hive、HBase、Kafka

目录

1、集成Hive

1.1 历史元数据处理

2、集成HBase

2.1历史元数据导入

3、集成Kafka

3.1Bug规避

3.1.1 发现bug

3.1.2 规避bug

3.1.2 集成原理与局限性

3.1.3 历史元数据导入

3.1.4 准时导入kafka元数据

安装好Atlas只是第一步，接下来我们得采集相关大数据组件的元数据，所以得跟大数据组组件做集成。如果是手工安装的Apache版本的Atlas，我们还需要单独做Atlas跟其他组件的集成配置才能管理他们的元数据，比如HBase、Hive、Storm、kafka等。我们所要做的就是采集元数据和使用即可。

1、集成Hive

没有任何表，第一次你会没有看见database，后续操作后再次查看出现foo

1.1 历史元数据处理

在上线Atlas之前Hive可能运行很久了，所以历史上的元数据无法触发hook，因此需要一个工具来做初始化导入。Apache Atlas提供了一个命令行脚本 import-hive.sh ，用于将Apache Hive数据库和表的元数据导入Apache Atlas。该脚本可用于使用Apache Hive中的数据库/表初始化Apache Atlas。此脚本支持导入特定表的元数据，特定数据库中的表或所有数据库和表。