问题一:Flink文档上说cdas 和 ctas语法 都不支持下图中的索引变更,有具体是哪种索引变更吗?
Flink文档上说cdas 和 ctas语法 都不支持下图中的索引变更,有具体是哪种索引变更吗?(新增、删除、调整?)
参考答案:
所有都不支持,因为主键涉及分片内容。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581159
问题二:Flink免费的告警月底上线吗?
Flink免费的告警月底上线吗?
参考答案:
- 预计12底1月上旬支持新购用户使用免费监控告警服务。
- 12.8号已经上线新购用户默认使用ARMS新版计费规格,新版计费成本相较于原计费节省55%-75%。请参见:https://help.aliyun.com/zh/flink/product-overview/service-notices/?spm=a2c4g.11186623.0.0.361233f9PvdMFQ
计划于12月下旬将已开通的Flink全托管工作空间的监控服务ARMS统一切换为ARMS新版计费模式。帮助用户无缝切换到ARMS新版计费模式的同时,大幅度降低使用监控服务所需的成本,数据和功能都不受影响。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581158
问题三:flink的1cu是指1cpu还是1cpu+4g存储?
flink的1cu是指1cpu还是1cpu+4g存储?
参考答案:
1cpu + 4g 内存
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581157
问题四:实时FLINK是否支持云原生数据仓库AnalyticDB PostgreSQL到DORIS同步
您好,目前实时FLINK是否支持云原生数据仓库AnalyticDB PostgreSQL到DORIS的实时数据同步,即源ADB POSTGRESQL库发生的数据变化实时或者准实时的同步到DORIS上。
谢谢
参考答案:
目前还没有完整的方案支持实时FLINK从云原生数据仓库AnalyticDB PostgreSQL到DORIS的实时数据同步。
但可以先通过Flink读写AnalyticDB PostgreSQL数据,再把Flink的数据同步到Doris。
使用 Flink CDC 接入 Doris 示例
-- enable checkpoint SET 'execution.checkpointing.interval' = '10s'; CREATE TABLE cdc_mysql_source ( id int ,name VARCHAR ,PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = '127.0.0.1', 'port' = '3306', 'username' = 'root', 'password' = 'password', 'database-name' = 'database', 'table-name' = 'table' ); -- 支持删除事件同步(sink.enable-delete='true'),需要 Doris 表开启批量删除功能 CREATE TABLE doris_sink ( id INT, name STRING ) WITH ( 'connector' = 'doris', 'fenodes' = '127.0.0.1:8030', 'table.identifier' = 'database.table', 'username' = 'root', 'password' = '', 'sink.properties.format' = 'json', 'sink.properties.read_json_by_line' = 'true', 'sink.enable-delete' = 'true', 'sink.label-prefix' = 'doris_label' ); insert into doris_sink select id,name from cdc_mysql_source;
——参考链接。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581059
问题五:Flink CDC有遇到使用mysql社区版连接器全量读取完后,增量读取丢数据的情况吗?
Flink CDC有遇到使用mysql社区版连接器全量读取完后,增量读取丢数据的情况吗?2.4.1版本的连接器,任务是用table api监听MySQL,然后将table转流,进行消费,写到下游MySQL分表
参考答案:
使用Flink CDC的MySQL社区版连接器进行全量读取后,增量读取丢数据的情况可能是由以下原因导致的:
- 连接器配置问题:
- 确保你在Flink CDC连接器中正确配置了MySQL的服务器地址、用户名、密码、数据库名以及要监听的表。
- 检查连接器的启动位置(如binlog位置和GTID)是否设置正确,以确保从正确的点开始增量读取。
- MySQL binlog设置问题:
- 确保MySQL服务器的binlog设置是启用的,并且格式为ROW或MIXED。
- 检查MySQL的binlog保留策略,确保在你需要的时间范围内不会被删除。
- 并发写入和读取冲突:
- 如果在全量读取和增量读取期间,MySQL中有并发的写入操作,可能会导致一些数据变更在增量读取时被遗漏。
- 考虑在全量读取和增量读取之间设置一个短暂的暂停期,以减少并发写入和读取冲突的可能性。
- Flink任务处理延迟:
- 确保你的Flink任务有足够的资源来处理接收到的数据流,并且没有发生严重的处理延迟。
- 检查Flink任务的并行度、缓冲区大小和检查点间隔等参数,以优化数据处理效率。
- 网络问题或故障恢复:
- 网络波动或者故障恢复过程可能导致部分数据包丢失或者重复。
- 考虑使用Flink的checkpoint和savepoint功能来保证数据的一致性和可靠性。
- 连接器版本问题:
- 虽然你提到的是Flink CDC 2.4.1版本的连接器,但仍然可能存在已知的问题或者bug导致数据丢失。
- 建议查阅Flink CDC的官方文档和GitHub仓库中的问题列表,看看是否有与你遇到的问题相似的报告或者解决方案。
如果以上排查步骤无法解决问题,你可以尝试以下操作:
- 使用其他工具(如MySQL的binlogdump命令或者第三方监控工具)来验证MySQL的binlog数据是否完整。
- 将Flink CDC任务的日志级别设置为DEBUG或TRACE,以便获取更详细的日志信息和错误堆栈。
- 向Flink CDC社区或者技术支持团队报告你的问题,并提供尽可能详细的信息,包括你的Flink和MySQL版本、连接器配置、任务代码和日志等。
关于本问题的更多回答可点击进行查看: