问题一：Flink CDC中dinky 整库同步pg到hudi，知道这是什么原因？
问题1:Flink CDC中dinky 整库同步pg到hudi，知道这是什么原因？
Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hudi.configuration.FlinkOptions
问题2：pg整库同步到hudi并同步到hive网上下载的包hudi-flink1.13-bundle-0.13.1.jar，放在dinky插件和上传到hdfs上，就报这个错，这个包需要自己编译？
参考答案：
"回答1：要么没包，要么包冲突。第一步走的是配置文件加载，直接是找不到这个文件加载类org.apache.hudi.configuration.FlinkOptions
回答2： 将 Flink 集群上已扩展好的 Connector 直接放入 Dlink 的 lib 或者 plugins 下，然后重启即可。定制 Connector 过程同 Flink 官方一样。我理解这是需要放两个地方？一个flink的集群，一个在 Dlink 的 lib 或者 plugins。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/541257?spm=a2c6h.13066369.question.16.61ee1fbaFgkGrP
问题二：Flink CDC中 为什么这么写编译不过？
"Flink CDC中 为什么这么写编译不过？
CREATE TABLE RMS_STORAGE_OUT_CARDS(
C_ID INT,
C_STORAGE_OUT_ITEM_ID INT,
C_CARD_NUMBER STRING,
C_GOODS_ID INT,
C_STATUS INT,
C_CREATEDBY STRING,
C_CREATEDON TIMESTAMP,
C_CHANNEL_CODE STRING,
C_HOSPID STRING,
proc_time AS PROCTIME(),
PRIMARY KEY (C_ID) NOT ENFORCED
) WITH (
'connector' = 'oracle-cdc',
'hostname' = 'oracle12cdb.xxxx.com',
'port' = '1521',
'username' = 'misnew',
'password' = 'mis32006',
'database-name' = 'XXXXRAC',
'schema-name' = 'RMS',
'debezium.log.mining.strategy' = 'online_catalog',
'debezium.log.mining.continuous.mine' = 'true',
'debezium.include.schema.changes' = 'false',
'scan.incremental.snapshot.chunk.key-column' = 'C_ID',
'scan.incremental.snapshot.chunk.size' = '80960' ,
'scan.snapshot.fetch.size' = '1024',
'table-name' = 'RMS_STORAGE_OUT_CARDS'
);
CREATE TABLE RMS_GOODS_BATCH(
C_ID INT,
C_NAME STRING,
C_OUTER_ID INT,
C_TYPE INT,
C_CARDTYPE INT,
C_START_DATE TIMESTAMP,
C_END_DATE TIMESTAMP,
C_PRICE DECIMAL(10,2),
C_GOODS_ID INT,
C_ENABLE INT,
C_FLAG INT,
C_SMS_TPL STRING,
C_CREATEDBY STRING,
C_CREATEDON TIMESTAMP,
C_OP_USER STRING,
C_OP_TIME TIMESTAMP,
PRIMARY KEY (C_ID) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:oracle:thin:@oracle12cdb.xxxx.com:1521:xxxxrac',
'driver' = 'oracle.jdbc.driver.OracleDriver',
'username' = 'misnew',
'password' = 'mis32006',
'table-name' = 'RMS.RMS_GOODS_BATCH'
);
CREATE TABLE RMS_STORAGE_OUT_ITEM(
C_ID INT,
C_STORAGE_OUT_ID INT,
C_SALE_ITEM_ID INT,
C_BATCH_ID STRING,
C_GOODS_ID INT,
C_GOODS_CODE STRING,
C_SALE_PRICE DECIMAL(10,2),
C_CARD_TYPE STRING,
C_GOODS_NAME STRING,
C_AMOUNT INT,
C_REMARK STRING,
C_PRICE DECIMAL(10,2),
C_CHARGE_TYPE INT,
C_CHARGE_ID INT,
PRIMARY KEY (C_ID) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:oracle:thin:@oracle12cdb.xxxx.com:1521:xxxxrac',
'driver' = 'oracle.jdbc.driver.OracleDriver',
'username' = 'misnew',
'password' = 'mis32006',
'table-name' = 'RMS.RMS_STORAGE_OUT_ITEM'
);
CREATE TABLE sink_rms_storage_out_cards (
C_ID INT,
C_CARD_NUMBER STRING,
C_STATUS INT,
C_CREATEDBY STRING,
C_CREATEDON TIMESTAMP,
C_CHANNEL_CODE STRING,
C_HOSPID STRING,
CARD_TYPE INT,
SALE_PRICE DECIMAL(10,2),
C_CHARGE_TYPE INT,
PRIMARY KEY (C_ID) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://10.108.37.132:3306/test',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '123456',
'table-name' = 'rms_storage_out_cards2');
insert into sink_rms_storage_out_cards
select
o.C_ID ,
o.C_CARD_NUMBER ,
o.C_STATUS ,
o.C_CREATEDBY ,
o.C_CREATEDO
"
参考答案：
" 你sql写的不对，当然有问题。
insert into sink_rms_storage_out_cards
select
o.C_ID ,
o.C_CARD_NUMBER ,
o.C_STATUS ,
o.C_CREATEDBY ,
o.C_CREATEDON ,
o.C_CHANNEL_CODE ,
o.C_HOSPID ,
b.C_TYPE ,
i.C_SALE_PRICE ,
i.C_CHARGE_TYPE
from
(
select C_ID
,C_CARD_NUMBER
,C_STATUS
,C_CREATEDBY
,C_CREATEDON
,C_CHANNEL_CODE
,C_HOSPID
,C_STORAGE_OUT_ITEM_ID
,cast(C_STORAGE_OUT_ITEM_ID as string) as C_STORAGE_OUT_ITEM_ID2
from RMS_STORAGE_OUT_CARDS
) AS o
LEFT JOIN
BATCH_ID FROM RMS_STORAGE_OUT_ITEM FOR SYSTEM_TIME AS OF o.proc_time AS i
ON o.C_STORAGE_OUT_ITEM_ID2 = i.C_ID
LEFT JOIN
RMS_GOODS_BATCH FOR SYSTEM_TIME AS OF o.proc_time AS b
ON i.BATCH_ID = b.C_ID
;
o表忘了加proc_time，自己手机加下
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/536095?spm=a2c6h.13066369.question.17.61ee1fbavRVx91
问题三：大佬们，请教一个Flink CDC问题。我使用flink1.15.4版本，使用的是自编译的mysq？
大佬们，请教一个Flink CDC问题。我使用flink1.15.4版本，使用的是自编译的mysql-cdc-2.3-SNAPSHOT。我们之前用mysql5.7，使用mysql cdc同步数据时，配置了'server-id'='6601-6616',一个flink 作业同时同步16张表，这个配置在mysql 5.7是可行的。最近我们把mysql升级到了8.0版本，这个配置就失效了，会报“A slave with the same server_uuid/server_id as this slave has connected to the master; ”，检查mysql是没有同server_id冲突的，判断是cdc的问题。'server-id'='6601'，逐个起作业是可以的，但这样会导致有16个实例在读binlog，流量和负载都加了16倍。请教一下，这个问题社区里有遇到过吗？我在社区FQA文档没有找到这种问题。有空的话，麻烦回复一下，不胜感谢！
参考答案：
非常抱歉，但我无法提供关于自编译的 MySQL CDC 的支持，因为它不是官方提供的版本。我只能为您提供关于官方发布版本的支持和建议。
根据您的描述，当您将 MySQL 升级到 8.0 版本后，使用了之前在 MySQL 5.7 版本中有效的配置 'server-id'='6601-6616' 时出现了问题，并报告了 "A slave with the same server_uuid/server_id as this slave has connected to the master" 的错误。这可能是由于 MySQL 8.0 对于复制机制的改变导致的。
在 MySQL 8.0 中，服务器生成 UUID 作为 server_id，并且不再接受范围形式的 server_id。因此，在 Flink CDC 中配置 'server-id'='6601-6616' 将不再起作用。
解决此问题的方法是为每个 Flink CDC 任务分配唯一的 server_id。您可以尝试将 'server-id'='6601' 配置应用于每个 Flink CDC 任务，并确保每个任务都有唯一的 server_id。这样做确实会增加实例数量，但这是必要的，以避免 server_id 冲突并继续进行正确的数据同步。
如果您仍然希望使用多个 server_id 来减少实例数量，您可能需要考虑使用其他支持 MySQL 8.0 的 CDC 解决方案，例如 Debezium 或 Canal。这些解决方案提供了更灵活和全面的 MySQL CDC 功能，并且可以与 Flink 集成。
希望以上信息对您有所帮助！如果您还有其他疑问，请随时提问。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/531421?spm=a2c6h.13066369.question.20.61ee1fba0Mp5e0
问题四：Flink CDC中有人编译安装过 impala4.x版本么？非CDH安装方式；
Flink CDC中有人编译安装过 impala4.x版本么？非CDH安装方式；
参考答案：
我没有编译安装过 impala4.x 版本，但是我找到了一个参考链接：https://www.jianshu.com/p/5ebb623f6170。这个链接介绍了如何编译安装 impala4.x 版本，你可以参考一下。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/526025?spm=a2c6h.13066369.question.19.61ee1fbamhcNqm
问题五：Flink CDC中有人编译过 impala么？ 官方的这个Maven 地址一直是403 有解决过的
Flink CDC中有人编译过 impala么？ https://native-toolchain.s3.amazonaws.com 官方的这个Maven 地址一直是403 有解决过的大佬么？
参考答案：
我可以提供一些一般性的建议：
- 确认网络访问：首先，请确保您的网络连接正常，可以正常访问https://native-toolchain.s3.amazonaws.com。如果无法访问，可能是网络问题或AWS的访问限制。
- 检查依赖是否更新：尝试从其他来源获取Maven依赖，比如使用其他可用的Maven镜像，或者查找其他可用的Impala相关的Maven仓库。
- 寻求社区支持：Flink和Impala都拥有活跃的社区，您可以尝试在相关论坛、邮件列表或社交媒体上咨询是否有人遇到类似问题，并寻求解决方案。
另外，如果您对具体问题有更多细节或者错误信息，我可以尝试提供更详细的建议。
关于本问题的更多回答可点击进行查看：
https://developer.aliyun.com/ask/522244?spm=a2c6h.13066369.question.20.61ee1fbaUbgCsk
