开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

实时计算 Flink版有通过flink将数据写入doris的吗 成功了吗?

实时计算 Flink版有通过flink将数据写入doris的吗 成功了吗?

展开
收起
真的很搞笑 2023-10-18 17:40:33 410 0
2 条回答
写回答
取消 提交回答
  • 是的,Flink可以将数据写入Doris。Doris是阿里巴巴开源的一款高性能的MPP数据库,它支持SQL和ACID事务,非常适合用于处理大量的结构化数据。

    以下是一个使用Flink将数据写入Doris的示例:

    CREATE TABLE doris_table (
      id INT,
      name STRING
    ) WITH ('connector' = 'jdbc',
          'url' = 'jdbc:doris://localhost:8030',
          'driver' = 'com.alibaba.doris.jdbc.DorisDriver',
          'username' = 'root',
          'password' = 'password');
    
    INSERT INTO doris_table VALUES (1, 'Alice'), (2, 'Bob');
    

    在这个示例中,我们首先创建了一个名为doris_table的表,这个表有两个字段:idname。然后,我们使用INSERT INTO语句将数据插入到这个表中。

    请注意,你需要将urldriverusernamepassword替换为你的实际值。此外,你需要确保你的Doris服务器正在运行,并且你已经正确配置了JDBC驱动程序。

    总的来说,Flink可以将数据写入Doris,这是一种非常有效的数据持久化方式。

    2023-10-21 17:46:21
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    是的,实时计算 Flink版确实支持通过Flink将数据写入Doris。一种常见的实践方式是通过Flink CDC(变更数据捕获)结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。另一个例子是,上游维持以每秒10万条的超高频率写入的情况下,使用Flink同步上游Kafka中的非结构化数据,经过处理后,可以使用Flink Doris Connector将数据实时写入Doris中。此外,还有一种做法是通过FlinkCDC采集MySQL Binlog到Kafka中的Topic,然后开发Flink任务消费这些Binlog生成相关主题的宽表,最后将这些数据写入Topic2,再配置Doris Routine Load任务,将Topic2的数据导入Doris。这些例子表明,Flink与Doris可以很好地集成,以满足不同的实时数据处理需求。

    2023-10-18 18:40:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载