请问，flinkcdc 怎么根据表名动态分流写到hdfs不同的目录里啊？-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

请问，flinkcdc 怎么根据表名动态分流写到hdfs不同的目录里啊？

来自：PG中文社区技术圈 2022-07-04 21:00:50 651 1

用户昵称

+关注

请问，flinkcdc 怎么根据表名动态分流写到hdfs不同的目录里啊？

flume数据hdfs kafka kafka数据使用hdfs kafka数据写入hdfs kafka数据hdfs 目录httpd文件

开发者社区 > PG中文社区技术圈 > 问答

取消提交回答

全部回答(1)

云墩墩
2022-07-05 13:11:28

通过cdc再维护一张表，通过那张表的信息实现分流的。

此答案来自钉钉群“【2】Apache Flink China 社区”

0 0

相关问答

回答

请问一个问题，数据通过flink cdc读mysql写入ods层的hudi表，然后再将事实表和维度表

2022-08-09 14:15:04 63浏览量回答数 1

回答

各位大佬，idea中测试使用FlinkCDC SQL 读取Mysql 数据写入Kafka中，代码中创

2022-08-03 13:45:47 64浏览量回答数 0

回答

请问，使用flume 消费kafka数据，上传到hdfs，出现重复消费的数据，是什么原因导致的呢

2022-08-01 16:54:55 161浏览量回答数 0

回答

请教个问题消费flink的cdc数据如果有多张表的数据怎么做既能保证效率又能比较优

2022-07-03 18:11:11 139浏览量回答数 1

回答

请教个问题，使用flink-cdc同步mysql数据，将mysql中A表和B表数据同步到kudu合并

2022-06-30 12:41:35 170浏览量回答数 0

回答

请问大佬们有遇到过flink cdc mongdb 执行flinksql 遇到这样的问题的么？

2022-06-28 16:04:32 159浏览量回答数 0

回答

flink cdc 做数据同步使用kafka 的时候怎么保证顺序消费啊，只能使用一个分区吗

2022-06-24 13:41:40 91浏览量回答数 1

回答

filinCdc 的sql，多表的时候总报这个错，请问下该怎么解决呀

2022-06-21 10:11:30 86浏览量回答数 0

回答

flink消费kafka的数据写入到hdfs中，我采用了BucketingSink 这个sink将o

2020-04-23 19:32:31 2518浏览量回答数 1

回答

如何实现使用云企业网跨VPC访问文件存储HDFS？

2020-03-31 02:54:40 814浏览量回答数 2

+关注

云上静思

文章

5744

问答

问答排行榜

最热

最新

1 通过阿里云代备案系统进行个人快速备案 2667643

2 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家德哥 1353036

3 据说在家办公的程序员是这样写代码的？ 1320556

4 《阿里云服务器从入门到精通》—论坛精华帖汇总 1055527

5 阿里云开放端口权限 668709

6 《阿里云服务器从入门到精通》—论坛精华帖汇总（2013.8.21更新） 590575

7 如何升级配置 527901

8 【精品问答】python技术1000问(1) 494381

9 Flink Forward Asia 2021 有奖问答 486716

10 Linux Bash严重漏洞修复紧急通知（已全部给出最终修复方案） 444220

11 OceanBase 使用动画（持续更新） 347132

12 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 314653

13 OSS存储服务-客户端工具 309146

14 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 287462

15 Win Server 2003-2016 加密勒索事件必打补丁合集 286571

16 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 269784

17 安全组详解，新手必看教程 267619

18 【史上最详细】阿里云ECS安装wordpress教程 262209

19 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 240500

20 阿里云手机和阿云浏览器连接问题专帖 231399

1 这个任务执行如果没在下一个调度时间完成就不会启动后续的任务，这个有相关的配置吗，这里每个任务都是独 142

2 同步和异步有什么区别吗？ 129

3 如何对url进行编码与解码呢？ 127

4 如何使用Serverless SDK来调用EMAS Serverless云资源? 100

5 polrDB单机性能比mysql强多少呢？ 198

6 使用mongoshake进行同步oplog到卡夫卡中时有个现象是运行一个小时就会卡住。要怎么解决啊？ 210

7 FIFO存储器在大数据组件中可以用到吗？ 201

8 elasticsearch中8C16G的集群，每分钟写入 500条左右，写入就很慢了，是什么原因？ 200

9 阿里云Es，score值用时间戳，13位，精度丢失，怎么解决提高score值，精度呢？ 198

10 elasticsearch中出现下面的问题怎么解决？ 201

11 请问elasticsearch6.5.1 不支持免费的x-pack嘛 ? 196

12 arms中开启这些新能coredns的性能监控后，具体在哪里有体现？ 208

13 其他云能用arms吗？ 195

14 arms中两个ack里的，同名的deployment。能同时接入arms吗？怎么区分？ 196

15 请问python怎么接入arms呀？ 205

16 请问php服务怎么接入arms呢？ 207

17 ARMS中如何生成licenseKey呢？ 202

18 ahas中公网region进行应用接入，引入JAR在启动的时候会抛出这个异常，还需要引入其他的吗？ 212

19 请问下AHAS的可用区域中现在不包含香港么？ 213

20 AHAS的过程中出现限流后未跳转我配置的关联行为，出现限流提示，是什么原因呢？ 215

推荐问答

读《低代码开发师（初级）实战教程》，赢小米鼠标Lite