开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有没有 datahub 的 flink sql connector ??

有没有 datahub 的 flink sql connector ??

展开
收起
真的很搞笑 2023-10-30 19:19:47 178 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataHub 是阿里巴巴开源的大规模实时消息处理平台,它可以支持多种不同的消息协议,包括 Flink SQL。在 DataHub 中,你可以通过编写 Flink SQL 查询语句来访问 DataHub 上的数据,而且无需关心底层的消息传输机制和网络通信细节。
    DataHub 本身并不提供 Flink SQL 的 connector ,但是一些第三方框架已经实现了 Flink SQL 对 DataHub 的支持。例如,阿里云的 Blink SQL 就支持使用 Flink SQL 访问 DataHub 上的数据。在 Blink SQL 中,你可以使用类似于下面这样的语句来创建一个连接 DataHub 的表:

    CREATE TABLE datahub_table (
      name STRING,
      age INT,
      email STRING,
      ts TIMESTAMP(3),
      proctime AS PROCTIME(), 
      rowtime AS TO_TIMESTAMP(ts) 
      WATERMARK FOR rowtime AS rowtime - INTERVAL '5' SECOND
    ) WITH (
      'connector' = 'datahub',
      'hostname' = 'localhost',
      'port' = '9099',
      'username' = 'test_user',
      'password' = 'test_password'
    );
    

    这段 SQL 创建了一个名为 datahub_table 的表,该表连接到了 DataHub 中的一个 topic ,并且指定了一些表结构和属性。其中, connector 属性指定了表所使用的连接器,这里设置为 datahubhostnameport 属性分别指定了 DataHub 主机的地址和端口号; usernamepassword 属性则指定了 DataHub 用户名和密码。
    除了 Blink SQL 之外,还有一些其他的框架也支持 Flink SQL 和 DataHub 的集成。例如,Apache NiFi 和 Apache Nifi Registry 都提供了相应的模块来支持这一功能。

    2023-10-31 14:52:56
    赞同 展开评论 打赏
  • DataHub是一款基于Hadoop HDFS的开源数据集成平台,主要用于实现ETL和数据同步功能。目前,Flink官方并没有提供直接支持DataHub的Connector。

    但是,你可以通过Flink的Custom Source API来创建自己的Source Function,从而实现从DataHub读取数据的功能。你需要自己实现从DataHub读取数据的方法,并将其封装成一个Source Function。

    另外,你也可以考虑使用其他的数据集成工具,如Apache Nifi、Apache Beam等,这些工具都有直接的Flink Connector,可以直接从DataHub读取数据。

    2023-10-31 14:43:45
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载