请教下各位，不知道flink cdc同步mysql数据库的数据跟datahub、dataworks或

请教下各位，不知道flink cdc同步mysql数据库的数据跟datahub、dataworks或者是hologres的关系。我现在想利用flinkcdc和hologres做实时数仓。flink cdc到holo 的方法不是很清楚。若果可以的话能否提供些demo或者资料，感谢，打扰了。

展开

收起

雪哥哥 2022-11-14 22:26:02 1355 0

5 条回答

写回答

取消提交回答

三掌柜666

十分耕耘，一定会有一分收获！

楼主，你可以直接通过DataWorks数据集成将数据库数据实时写入Hologress，由FLink实时订阅Hologress做进一步实时清洗，最后把结果更新到数据库，就可直接服务业务了。

2022-11-26 08:13:34

赞同展开评论打赏
喜欢猪猪

网站：http://ixiancheng.cn/ 微信订阅号：小马哥学JAVA

https://developer.aliyun.com/learning/course/839/detail/14005 这个flink cdc实时大数据的应用demo的视频，可以参考一下

2022-11-24 19:49:18

赞同展开评论打赏
离原

如果有dataworks的资源，可以跳过flinkcdc，采用dataworks的实时同步，原理没有深入过，不过应该也是通过读取mysql的binlog，对于数据新增，字段添加都可以直接同步，不过删除字段之前看的时候只有预警，然后在datawork的数据清洗之后，可以作为外部表进holo。当然也可以跳过dataworks，holo的官方文档中有针对开源flink的实时写入demo，在项目中引入对应版本的connector，然后按照demo创建sink表，connctor写hologres，其他地方写对应信息，就可以通过sql+java实现写入操作。

2022-11-23 19:47:44

赞同展开评论打赏
穿过生命散发芬芳

以往的架构：MySQL+Canal+MQ+PHP+Dataworks+Hologres；自研的消息中间件，成本高，过程复杂，对于有序的清洗要求极高；新的架构：基于Hologres+Dataworks+Flink，直接通过DataWorks数据集成将数据库数据实时写入Hologres，通过FLink实时订阅Hologres做进一步实时清洗，把结果更新到数据库，即可直接服务业务；总的来说，Flink和Hologres的实时数仓给我们带来了一条可能性的道路，统一的存储及统一的服务，有点小数据湖的概念，通过离线、小批、实时的数据处理，最终实现不同场景不同时效性的数据要求，方向是OK的。

同时，Dataworks的实时采集，基于本身的数据集能力，快速、易用，可以满足数据源不是太多的情况，大大节省了开发成本和运维成本，提升了团队的质量和效率。

2022-11-23 16:15:44

赞同展开评论打赏
魏红斌

天下风云出我辈，一入江湖岁月催，皇图霸业谈笑中，不胜人生一场醉。

基于Hologress+Dataworks+Flink，直接通过DataWorks数据集成将数据库数据实时写入Hologress，通过FLink实时订阅Hologress做进一步实时清洗，把结果更新到数据库，即可直接服务业务；整体架构清晰简单、数据精准、端到端纯实时、存储分析一体化、托管式运维、全自动工具作业，以往要3~4个月完成的项目，现在仅需几天即部署完成。具体教程找一下B站资料，看你不熟悉哪一块的内容，如果是小白要从最基础的框架学起，手动搭建，挺容易的

2022-11-23 10:57:57

赞同展开评论打赏