Flink、Spark等
Hologres有着非常庞大的生态家族,支持多种异构数据源的离线、实时写入。 对于开源大数据:Hologres支持当下最流行的大数据开源组件,其中包括Flink、Blink和Spark等,通过内置的Hologres Connector实现高并发实时写入。 对于数据库类数据:Hologres与DataWorks数据集成(DataX和StreamX)深度集成,支持通过Hologres Writer和Hologres Reader,实现方便高效地将多种数据库数据离线、实时、整库同步至Hologres中,满足各类企业数据同步迁移的需求。 常见的数据源同步见下表:
同步模式 | 数据源 | 同步方式 |
---|---|---|
离线同步 | MaxCompute | 通过SQL insert into写入 |
离线同步 | OSS | 通过SQL insert into写入,通过COPY命令 |
离线同步 | MySQL、Oracle等数据库 | Dataworks数据集成 |
离线同步 | 本地文件 | 通过COPY命令,通过Holoweb一键上传 |
离线同步 | Hologres | 通过SQL insert into写入 |
实时写入 | Flink | 支持结果表、源表、维表,支持开源Flink、阿里云Flink、阿里云Blink |
实时写入 | Spark | 通过Spark Connector希尔 |
实时写入 | MySQL、Oracle等数据库 | 通过DataWorks数据集成写入,支持单表实时同步、整库实时同步、全量+增量同步 |
实时写入 | Kafka | 通过DataWorks数据集成写入,通过Flink写入 |
实时写入 | DataHub | 直接写入DataHub,通过Flink、DataWorks数据集成写入 |
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975