暂无个人介绍
2024年06月
苹果的推送机制做得不是很精细,没有提供回执功能,甚至消息的状态查询都不支持。对于上面这条信息,我们从后台日志看到,调用APNs的接口发送,苹果服务器已经返回发送成功。但这条信息具体在APNs的处理情况,苹果把消息下发、端侧是否处理成功,苹果是没有提供查询机制的。-此回答整理自钉群“应用研发平台EMAS开发者交流群”
调整并发度
--设置访问mx外表并发度,默认为core数,最大128
set hg_foreign_table_executor_max_dop=4;
--调整每次读取mx表batch大小,默认8192
--set hg_experimental_query_batch_size=4096;
--设置访问外表时执行dml语句最大并发度,默认32
set hg_foreign_table_executor_dml_max_dop=4;
--设置mx表访问切分spilit数据,默认64MB
--set hg_foreign_table_split_size =128;1-此回答整理自钉群“实时数仓Hologres交流群”
实例 ID文本:
hgprecn-cn-x0r35b9wh001-此回答整理自钉群“实时数仓Hologres交流群”
指标currentEmitEventTimeLag ,如果开始有值就是增量阶段了-此回答整理自钉群“Flink CDC 社区”
一般ddl操作需要很多审批才可以通过的,目前避免快照阶段drop 列-此回答整理自钉群“Flink CDC 社区”
debezium.skipped.operationxxx='d,'-此回答整理自钉群“Flink CDC 社区”
rest api-此回答整理自钉群“Flink CDC 社区”
没有死锁的 都是RUNNABLE或者Waiting-此回答整理自钉群“Flink CDC 社区”
一些建议:
参考flink的metic https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/ops/metrics/ -此回答整理自钉群“Flink CDC 社区”
tidb的cdc目前推荐的话还是tidb自己的cdc-此回答整理自钉群“Flink CDC 社区”
source会将数据平均或是依据keyBy分配给多个sink实例-此回答整理自钉群“Flink CDC 社区”
比如你init启动开了8个并行度,但是增量阶段只有1个并行度在工作了,其他7task是空闲的-此回答整理自钉群“Flink CDC 社区”
增量阶段只有1哥并行度在工作,配置scan.incremental.close-idle-reader.enabled = ‘true‘,全量结束会自动关闭task。
配置scan.incremental.close-idle-reader.enabled = ‘true‘,全量阶段结束会自动关闭空闲task-此回答整理自钉群“Flink CDC 社区”
这样做数据会有问题吧 同一条数据 先insert后update 顺序乱了数据就不一致了
应该还是同一个任务,把入库性能调好就行了-此回答整理自钉群“Flink CDC 社区”
和mysql版本有关,我本机是8.0.32-arm64版本的mysql,在增量时异常,全量正常,因为全量是通过select获取数据,所以不会报错。我在5.X版本的mysql中没有遇到报错-此回答整理自钉群“Flink CDC 社区”
一般sql的动态表会把update 拆成两条消息,delete+inserr的-此回答整理自钉群“Flink CDC 社区”
flink-conf 设置行就行-此回答整理自钉群“Flink CDC 社区”
提交任务是要点时间的-此回答整理自钉群“Flink CDC 社区”