开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 数据全量数据同步 太慢什么原因?入库速度 太慢?参数配置已经是最优,

USE CATALOG flink-test
;
CREATE TEMPORARY TABLE flink_datagen_sourcet_temp
(
dep_id INTEGER
,cus_id INTEGER
,bra_id INTEGER
,dept_id INTEGER
,status INTEGER
,PRIMARY KEY (dep_id) NOT ENFORCED
)
COMMENT 'test'
WITH (
'connector' = 'mysql-cdc'
,'hostname' = 'pc-uf6he30o2g7yb74k1.rwlb.rds.aliyuncs.com'
,'port' = '3306'
,'username' = 'zhimei_mysql'
,'password' = 'zhimei_service1@#!&'
,'database-name' = 'flink_test'
,'table-name' = 'by_crm_cart_deposit'
)
;

CREATE TEMPORARY TABLE flink_finance_output_print
(
id INTEGER
,dep_id INTEGER
,cus_id INTEGER
,city_id INTEGER
,bra_id INTEGER
,bra_name VARCHAR
)
WITH (
'connector' = 'print', 'logger' = 'true'
)
;

BEGIN STATEMENT SET
;

INSERT INTO flink_finance_output
SELECT
0 AS id
,cd.dep_id
,cd.cus_id
,dd.city_id
,cd.bra_id
,bb.bra_name
FROM flink_datagen_sourcet_temp cd
LEFT JOIN by_crm_dept dd
ON dd.dept_id = cd.dept_id
left join by_crm_brand bb
on cd.bra_id = bb.bra_id
WHERE dd.biz_id = 539
and cd.status <> 3
;

INSERT INTO flink_finance_output_print
SELECT
0 AS id
,cd.dep_id
,cd.cus_id
,dd.city_id
,cd.bra_id
,bb.bra_name
FROM flink_datagen_sourcet_temp cd
LEFT JOIN by_crm_dept dd
ON dd.dept_id = cd.dept_id
left join by_crm_brand bb
on cd.bra_id = bb.bra_id
WHERE dd.biz_id = 539
and cd.status <> 3
;

END
;

展开
收起
游客342vlfygnzoi4 2023-08-17 16:13:10 210 0
1 条回答
写回答
取消 提交回答
  • Flink 数据全量数据同步太慢有可能是以下原因:

    数据量太大,导致数据处理速度慢。
    数据源的性能不好,导致数据处理速度慢。
    Flink 集群的配置不合理,导致数据处理速度慢。
    Flink 程序中存在性能问题,导致数据处理速度慢。
    为了提高 Flink 数据全量数据同步的速度,可以尝试以下方法:

    减少数据量。如果数据量太大,可以考虑对数据进行分区或过滤,减少数据处理的量。
    提高数据源的性能。如果数据源的性能不好,可以考虑对数据源进行优化,提高数据处理的速度。
    调整 Flink 集群的配置。如果 Flink 集群的配置不合理,可以考虑调整 Flink 集群的配置,提高数据处理的速度。
    优化 Flink 程序。如果 Flink 程序中存在性能问题,可以考虑优化 Flink 程序,提高数据处理的速度。
    如果尝试了以上方法后,数据全量数据同步的速度仍然很慢,可以尝试联系 Flink 官方支持团队进行咨询。

    2023-09-26 10:29:52
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载