问题一:Flink的CURRENT_TIMESTAMP, 如何转成长整形的数据怕?
Flink的CURRENT_TIMESTAMP, 如何转成长整形的数据, 用UNIX_TIMESTAMP 好像是转到秒, 我需要保存到毫秒
参考回答:
cast (substring (cast (CURRENT_TIMESTAMP as varchar), - 3, 3) as bigint) + unix_timestamp (CURRENT_TIMESTAMP) * 1000
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/565859
问题二:pg的版本多少支持flinkcdc呀?
pg的版本多少支持flinkcdc呀?
参考回答:
Flink CDC 可以与 PostgreSQL 的任何版本一起使用。但是,您需要安装和配置相应的 JDBC 驱动,以连接到 PostgreSQL 数据库。
以下是具体的步骤:
- 下载并安装 JDBC 驱动。
- 将驱动添加到 Flink 集群中。
- 配置 Flink 集群,使其能够连接到 PostgreSQL 数据库。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570651
问题三:Flink 控制台 在2023-10-17 23:53 左右 是有更新吗?
Flink 控制台 在2023-10-17 23:53 左右 是有更新吗?我看到我们这边的cdc 同步任务在这个时间,全部有报错重启(java.lang.RuntimeException: One or more fetchers have encountered exception)
参考回答:
导致此错误的一些可能原因:
①起始位置不正确:指定的起始位置可能无效或不正确。确保起始位置准确,并且与二进制日志中的有效位置相对应。
②binlog已清除:如果包含指定位置的二进制日志已被清除或删除,CDC进程将无法从该位置读取。检查二进制日志是否已旋转或清除,并相应地调整起始位置。
③网络问题:如果CDC进程和MySQL服务器之间存在网络连接问题,则可能导致读取二进制日志时出错。确保没有网络问题,并且CDC进程可以建立到MySQL服务器的稳定连接。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/565857
问题四:Flink这个更新了?刚刚进去还是不能用
Flink这个更新了?刚刚进去还是不能用
参考回答:
云上正在分批次随机灰度发布
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/565856
问题五:可观测监控Prometheus版 - 按量付费 这个在flink里是做什么用的啊?关掉会有影响吗?
可观测监控Prometheus版 - 按量付费 这个在flink 里是做什么用的啊?关掉 会有什么影响吗 ?
参考回答:
监控告警哈,你也可以把作业监控指标打到你自己的系统里。自建 Prometheus或者上报到 sls/kafka,针对上报的数据,自己实现告警逻辑。 影响后续问题排查,比如:
①任务频繁 Failover,Failover100 次,需要知道第一次 Failover 时间,那个是 root cause
②checkpoint 长时间失败,需要看下什么时间点失败,失败时 taskmanager负载,是不是 cpu、内存压力大、任务反压导致的
③JobManager 重启/taskmanager heartbeat 等 oom 导致的问题,需要曲线分析
④开窗无数据输出/数据结果少,需要看 watermark 相关曲线,是不是有迟到数据丢弃
等等等
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/565855