开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres支持哪些数据源同步?

Hologres支持哪些数据源同步?

展开
收起
小赵赵赵赵 2022-01-27 18:09:09 5879 0
2 条回答
写回答
取消 提交回答
  • 云原生技术交流学习,分享云原生相关技术、资讯,Make Cloud Native Ubiquitous(MCNU),让云原生无处不在。

    Flink、Spark等

    2022-02-02 11:11:13
    赞同 展开评论 打赏
  • Hologres有着非常庞大的生态家族,支持多种异构数据源的离线、实时写入。 对于开源大数据:Hologres支持当下最流行的大数据开源组件,其中包括Flink、Blink和Spark等,通过内置的Hologres Connector实现高并发实时写入。 对于数据库类数据:Hologres与DataWorks数据集成(DataX和StreamX)深度集成,支持通过Hologres Writer和Hologres Reader,实现方便高效地将多种数据库数据离线、实时、整库同步至Hologres中,满足各类企业数据同步迁移的需求。 常见的数据源同步见下表:

    同步模式数据源同步方式
    离线同步MaxCompute通过SQL insert into写入
    离线同步OSS通过SQL insert into写入,通过COPY命令
    离线同步MySQL、Oracle等数据库Dataworks数据集成
    离线同步本地文件通过COPY命令,通过Holoweb一键上传
    离线同步Hologres通过SQL insert into写入
    实时写入Flink支持结果表、源表、维表,支持开源Flink、阿里云Flink、阿里云Blink
    实时写入Spark通过Spark Connector希尔
    实时写入MySQL、Oracle等数据库通过DataWorks数据集成写入,支持单表实时同步、整库实时同步、全量+增量同步
    实时写入Kafka通过DataWorks数据集成写入,通过Flink写入
    实时写入DataHub直接写入DataHub,通过Flink、DataWorks数据集成写入
    2022-01-27 18:31:06
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 李佳林 立即下载
    阿里云实时数仓Hologres技术揭秘2.0 立即下载
    实时数仓Hologres技术实战一本通2.0版(下) 立即下载