USE CATALOG flink-test
;
CREATE TEMPORARY TABLE flink_datagen_sourcet_temp
(
dep_id INTEGER
,cus_id INTEGER
,bra_id INTEGER
,dept_id INTEGER
,status INTEGER
,PRIMARY KEY (dep_id
) NOT ENFORCED
)
COMMENT 'test'
WITH (
'connector' = 'mysql-cdc'
,'hostname' = 'pc-uf6he30o2g7yb74k1.rwlb.rds.aliyuncs.com'
,'port' = '3306'
,'username' = 'zhimei_mysql'
,'password' = 'zhimei_service1@#!&'
,'database-name' = 'flink_test'
,'table-name' = 'by_crm_cart_deposit'
)
;
CREATE TEMPORARY TABLE flink_finance_output_print
(
id INTEGER
,dep_id INTEGER
,cus_id INTEGER
,city_id INTEGER
,bra_id INTEGER
,bra_name VARCHAR
)
WITH (
'connector' = 'print', 'logger' = 'true'
)
;
BEGIN STATEMENT SET
;
INSERT INTO flink_finance_output
SELECT
0 AS id
,cd.dep_id
,cd.cus_id
,dd.city_id
,cd.bra_id
,bb.bra_name
FROM flink_datagen_sourcet_temp cd
LEFT JOIN by_crm_dept dd
ON dd.dept_id = cd.dept_id
left join by_crm_brand bb
on cd.bra_id = bb.bra_id
WHERE dd.biz_id = 539
and cd.status <> 3
;
INSERT INTO flink_finance_output_print
SELECT
0 AS id
,cd.dep_id
,cd.cus_id
,dd.city_id
,cd.bra_id
,bb.bra_name
FROM flink_datagen_sourcet_temp cd
LEFT JOIN by_crm_dept dd
ON dd.dept_id = cd.dept_id
left join by_crm_brand bb
on cd.bra_id = bb.bra_id
WHERE dd.biz_id = 539
and cd.status <> 3
;
END
;
Flink 数据全量数据同步太慢有可能是以下原因:
数据量太大,导致数据处理速度慢。
数据源的性能不好,导致数据处理速度慢。
Flink 集群的配置不合理,导致数据处理速度慢。
Flink 程序中存在性能问题,导致数据处理速度慢。
为了提高 Flink 数据全量数据同步的速度,可以尝试以下方法:
减少数据量。如果数据量太大,可以考虑对数据进行分区或过滤,减少数据处理的量。
提高数据源的性能。如果数据源的性能不好,可以考虑对数据源进行优化,提高数据处理的速度。
调整 Flink 集群的配置。如果 Flink 集群的配置不合理,可以考虑调整 Flink 集群的配置,提高数据处理的速度。
优化 Flink 程序。如果 Flink 程序中存在性能问题,可以考虑优化 Flink 程序,提高数据处理的速度。
如果尝试了以上方法后,数据全量数据同步的速度仍然很慢,可以尝试联系 Flink 官方支持团队进行咨询。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。