开发者社区> 问答> 正文

请问下flink sql 如何实现定时更新mysql的数据?

请问下flink sql 如何实现定时更新mysql的数据?

逻辑说明:想每天晚上零点,通过flink定时读取mysql中的一张表的数据,然后做简单的汇总,最后插入一张mysql的结果表

展开
收起
游客fuzojzpl5x2bu 2023-06-20 10:45:36 382 0
1 条回答
写回答
取消 提交回答
  • 您可以通过Flink SQL中的定时器来实现定时更新MySQL的数据。具体步骤如下:

    1. 首先,在Flink SQL中创建一个表来读取MySQL中的数据,可以使用以下语句:

      CREATE TABLE source_table (
         id INT,
         name STRING,
         age INT,
         create_time TIMESTAMP(3)
      ) WITH (
         'connector.type' = 'jdbc',
         'connector.url' = 'jdbc:mysql://localhost:3306/test',
         'connector.table' = 'source_table',
         'connector.username' = 'root',
         'connector.password' = 'password'
      )
      
    2. 然后,使用Flink SQL中的定时器来定时读取MySQL中的数据并进行汇总。可以使用以下语句:

      CREATE TABLE result_table (
         id INT,
         total_age BIGINT
      ) WITH (
         'connector.type' = 'jdbc',
         'connector.url' = 'jdbc:mysql://localhost:3306/test',
         'connector.table' = 'result_table',
         'connector.username' = 'root',
         'connector.password' = 'password'
      );
      
      INSERT INTO result_table
      SELECT id, SUM(age) AS total_age
      FROM source_table
      WHERE DATE_FORMAT(create_time, '%Y-%m-%d') = DATE_FORMAT(NOW(), '%Y-%m-%d')
      GROUP BY id;
      
      

      这里使用了DATE_FORMAT函数来筛选出当天的数据,并使用SUM函数进行汇总。

    3. 最后,使用Flink SQL中的定时器来定时执行上述语句,可以使用以下语句:

      INSERT INTO result_table
      SELECT id, SUM(age) AS total_age
      FROM source_table
      WHERE DATE_FORMAT(create_time, '%Y-%m-%d') = DATE_FORMAT(NOW(), '%Y-%m-%d')
      GROUP BY id
      ON DUPLICATE KEY UPDATE total_age = VALUES(total_age);
      
      

      这里使用了MySQL中的ON DUPLICATE KEY UPDATE语句来更新结果表中的数据。并且,我们可以使用Flink SQL中的定时器来定时执行该语句,以实现定时更新MySQL的数据。

    2023-06-20 14:35:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载

相关镜像