暂无个人介绍
2022年12月
jdbc url 加上 useSSL=false 试下,加个 server-id ,保证账号权限满足——此回答整理自钉群“Flink CDC 社区”
不需要,直接写目录,hive 你后面再单独映射就行。——此回答整理自钉群“【③群】Apache Flink China社区”
有专有云产品,如果有采购其他阿里云专有云产品,可以找售前咨询下——此回答整理自钉群“【2群】PTS交流群”
脚本结构的问题,本地用5.0版本的JMeter运行下这个脚本看是否报同样的错,应该就是脚本结构的问题,jmx文件里是xml结构,里面有一层需要LinkedHashTree元素,在你的脚本中没读取到这个元素,相当于校验没通过 ——此回答整理自钉群“【1群】PTS交流群(已满请加30007126)”
0.0.4是有的,这里:https://mvnrepository.com/artifact/com.aliyun/eventbridge-util——此回答整理自钉群“EventBridge用户交流群”
取rank =1——此回答整理自钉群“【③群】Apache Flink China社区”
调大一点checkpoint时间呗,调大时间间隔——此回答整理自钉群“【③群】Apache Flink China社区”
基本都是吧,然后就是“实时数仓”,要还是日志采集,和实时数据分发服务端各业务,然后就是一些风控。没有做数仓。——此回答整理自钉群“【③群】Apache Flink China社区”
滚动策略就是你必须开始checkpoint,根据checkpoint时间来滚动文件,每一次checkpoint,每个并行度就会生成一个文件(如果有数据)。 第一行就是利用反射,直接就带字段名称写成parquet 文件,你hive直接建表就可以查询了。——此回答整理自钉群“【③群】Apache Flink China社区”
pom包里没引用相应的日志文件jar导致的,也可能你引用了,只是scope弄成了runtime,改成compile,试试——此回答整理自钉群“【③群】Apache Flink China社区”
maven里面好像也没有配置这个依赖,应该是Flink 包自带的,你重新导包试试——此回答整理自钉群“【③群】Apache Flink China社区”
https://mp.weixin.qq.com/s/8cOmpM4Fx3U4ya34KcAqfg,会不会是这个问题导致的——此回答整理自钉群“【③群】Apache Flink China社区”
可以的,写parquet 和 textfile 格式都可以——此回答整理自钉群“【③群】Apache Flink China社区”
官网上只能看到pg cdc(不是flink官网,专门的flink cdc),sink到doris要去doris官网上找——此回答整理自钉群“【③群】Apache Flink China社区”
监控job级的还可以,我这也搞了一套自动化监控脚本,直接命令行提交的也能监控——此回答整理自钉群“【③群】Apache Flink China社区”
没有,运维用的zabbix,监控cpu内存磁盘这些。——此回答整理自钉群“【③群】Apache Flink China社区”
close关不关意义不大了。stream里面 close发生在程序关闭之前。即使不释放 jvm没有引用后也会被回收。不过数据库链接之类的按照规范得显示指定——此回答整理自钉群“【③群】Apache Flink China社区”
状态是算子间私有的。你想多个算子访问同一个map只能用状态广播或者借助redis hbase这类高性能db做缓存——此回答整理自钉群“【③群】Apache Flink China社区”
mapstate本质上也是类似hashmap的。不同的是这个map里面的东西会跟随checkpoint做备份。任务重启或失败不会丢失。——此回答整理自钉群“【③群】Apache Flink China社区”
支持——此回答整理自钉群“【③群】Apache Flink China社区”