开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

以后flink连接器都放在这个仓库了吗?

image.png

展开
收起
雪哥哥 2022-11-03 21:36:01 715 0
12 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云实时计算 Flink并不是在所有情况下都使用Apache Flink社区所提供的连接器,而是会根据客户需求增加一些自定义的连接器。一般来说,在阿里云实时计算Flink中使用的连接器,可能会被多个产品或用户所共享,因此为了方便管理和维护,这些连接器可能存储在一个中心仓库中,例如Apache Flin Connector Shared Utils仓库。

    但是,为了在使用和扩展连接器时与Apache Flin社区连接器保持一致,阿里云实时计算Flink会利用Apache Flin Connector Shared Utils仓库。这个仓库包含了一些通用的连接器(如JDBC)、转换器(例如Json和Avro)以及格式器(例如Csv),并且它还包含了其他构建和工具,以方便开发者在上面进行连接器的构建和调试。这使得开发者能够更方便地将自己的连接器引入到阿里云实时计算Flink中以及与阿里云实时计算Flink社区以及其他相关社区的开发人员进行合作。

    具体情况可能因产品而异,以及版本升级等因素而有所改变。如果您有特定的需求,最好参考阿里云官方文档或与阿里云技术支持团队联系来获取更准确和详细的信息。

    2023-05-04 22:48:08
    赞同 展开评论 打赏
  • 不是,Flink 的连接器仓库包括两个主要部分:内部连接器和外部连接器。

    内部连接器是 Flink 自带的一些连接器,可以作为 Flink 库的一部分使用。这些内部连接器包括 File System、Kafka、RabbitMQ、Elasticsearch、HBase、JDBC等等。

    外部连接器是由 Flink 社区或者第三方开发者提供的连接器,也称为外部库。这些外部连接器可以从 Flink 的官方网站或者 Maven 仓库下载和安装。外部连接器涵盖了许多不同的数据源和目的地,如 Apache Cassandra、Apache Kafka、Amazon Kinesis、Hadoop HDFS、InfluxDB、Redis 等等。

    Flink 的连接器仓库地址可以在 Flink 官方网站上找到,如下所示:

    https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/overview/

    此外,Flink 社区还在不断地发展和完善连接器仓库,添加新的连接器和更新现有的连接器。

    2023-05-02 08:08:38
    赞同 1 展开评论 打赏
  • 云端行者觅知音, 技术前沿我独行。 前言探索无边界, 阿里风光引我情。

    这个不一定哦。目前来看Flink的连接器通常都放在了Apache Flink的GitHub仓库。是由Flink社区维护和开发的,在这个目录下,其实还有很多其他的utils,包括Kafka、Elasticsearch、JDBC、Hadoop、Cassandra、HBase等等。 据了解,除了官方仓库之外,还有一些第三方仓库也提供了Flink的连接器。例如,Confluent公司提供了一个Flink-Kafka连接器。如果您需要使用某个特定的连接器,建议先在官方仓库中查找,如果找不到再考虑其他仓库。

    2023-04-27 10:59:39
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    不一定。Apache Flink社区并没有决定将所有flink连接器都放在apache/flink-connector-shared-utils这个仓库中。这个仓库是一个用于存放Flink连接器和其它共享功能的工具库。它包括某些连接器和与连接器相关的共享代码。但是,不是所有的Flink连接器都放在这个仓库中,一些特定的连接器可能在其自己的仓库中维护。

    Flink社区的组织者会根据项目的需要来决定应该使用哪个仓库。一般来说,如果一个连接器与现有的连接器共享许多代码,那么它可能会放在apache/flink-connector-shared-utils仓库中,而独立的连接器则可能放在它们自己的仓库里。因此,您可能需要浏览不同的Flink仓库,以找到您需要的特定连接器。

    2023-04-26 12:27:57
    赞同 展开评论 打赏
  • Apache Flink 生态系统中的所有连接器都并不必须将它们的源代码放在 flink-connector-shared-utils 这个仓库中。相反,每个连接器均可以独立开发和维护自己的代码库

    2023-04-25 14:14:58
    赞同 展开评论 打赏
  • Apache Flink 官方的 flink-connector-shared-utils 仓库是一个用于存放共享工具和实用程序的公共代码库。这个仓库旨在为 Apache Flink 生态系统中的连接器提供通用、可重用的组件,以减少开发者需要编写、测试和维护的重复代码量,并提升整体生产力。

    目前,flink-connector-shared-utils 中包括一些通用的 Java 类库和实用工具,如 Kafka 的 SerDe 序列化/反序列化器、Hadoop 配置文件的加载器、Avro 编解码器等等。此外,该仓库还在逐步扩展其内容,未来可能会加入更多的通用功能组件,以支持不同类型的数据源和目标。

    但需要特别指出的是,Apache Flink 生态系统中的所有连接器都并不必须将它们的源代码放在 flink-connector-shared-utils 这个仓库中。相反,每个连接器均可以独立开发和维护自己的代码库,只要确保遵循 Apache 开源许可证和项目贡献规则即可。

    2023-04-24 17:59:13
    赞同 展开评论 打赏
  • Flink连接器(Connectors)目前分布在几个仓库: 1. flink-connector-sloth:所有与第三方系统的连接器,如Kafka、ElasticSearch等。这是Flink官方维护的连接器仓库,release版本会随着Flink release版本一起发布。地址:https://github.com/apache/flink-connector-sloth 2. flink-cdc-connectors:变更数据捕获(CDC)相关的连接器,如MySQL CDC、Postgres CDC等。这也是Flink官方维护的仓库,发布版本独立于Flink release版本。地址:https://github.com/ververica/flink-cdc-connectors
    3. flink-sql-connector-generic:一些通用的SQL连接器,如JDBC、CSV等。这是Flink社区开发并维护的连接器仓库,独立发布版本。地址:https://github.com/apache/flink-sql-connector-generic 4. 其它第三方维护的连接器仓库,如flink-connector-redis、flink-connector-mqtt等,由社区开发者独立开发和维护。

    可以看到,Flink连接器分散在多个仓库,这对用户而言可能会有些混乱。所以,Flink社区正在讨论是否需要整合这些连接器,放入一个统一的仓库进行维护。整合后的连接器仓库,有以下好处: 1. 对用户更加友好,无需在多个仓库寻找所需的连接器。 2. 不同连接器之间可以有更好的依赖管理,避免版本冲突等问题。 3. 官方可以更好地维护和测试重要的连接器,给予更高质量的保证。 4. 可以建立一致的发布周期,为所有连接器提供更加稳定的版本更新。 不过,连接器整合也需要投入较多人力成本,需要考虑社区现有资源是否可以支持这个工作量。且部分第三方开发的连接器的维护权和发布控制权也需要协商。

    2023-04-24 15:49:30
    赞同 展开评论 打赏
  • 不是所有的 Flink 连接器都在 flink-connector-shared-utils 这个仓库中,这个仓库主要是存放 Flink 连接器共享的工具类和依赖库,例如 flink-avroflink-jsonflink-csv 等。而其他的 Flink 连接器则分别在各自的仓库中,例如 flink-connector-kafkaflink-connector-jdbcflink-connector-elasticsearch 等。您可以在 Flink 官方文档的 Connectors 章节中查看完整的连接器列表。

    2023-04-24 11:18:43
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    据我的了解,Apache Flink 是一个开源的流式数据处理框架,它提供了丰富的连接器(Connectors)用于从不同的数据源中读取和写入数据。而 apache/flink-connector-shared-utils 仓库是 Flink 连接器的一个共享工具库,提供了一些通用的连接器代码实现,可在 Flink 连接器开发中被复用。

    并非所有的 Flink 连接器都放在这个仓库中。实际上,每种类型的连接器(如 Kafka Connectors、JDBC Connectors)都有自己的独立仓库。例如,Flink 提供的 Kafka Connector 库位于 apache/flink-connectors 仓库中,而Flink JDBC Connector 库位于 apache/flink-sql-connector-jdbc 仓库中。

    apache/flink-connector-shared-utils 仓库的作用是提供一些通用的连接器代码实现,以减少重复开发工作。因此,如果您正在开发自己的 Flink 连接器,可能会需要使用到该仓库中的代码。

    总之,Apache Flink 支持众多数据源的连接器,并且这些连接器的代码通常是分散在多个仓库中的,开发者可以针对具体的数据源选择相应的连接器仓库进行使用。

    2023-04-24 09:37:10
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    实际上,Flink的连接器并没有全部放在一个仓库中,而是根据不同的连接器类型和功能分别放在不同的仓库中。例如:

    Flink SQL内置的连接器,如JDBC连接器、Kafka连接器等,放在Flink的官方仓库中; Flink社区开发的连接器,如Elasticsearch连接器、HBase连接器等,放在Flink社区的仓库中; Flink的批处理和流处理连接器,如DataSet连接器和DataStream连接器等,分别放在Flink的批处理和流处理模块的仓库中。 因此,如果您想获取某个特定连接器的源代码,最好查找它所属的仓库并获取源代码。

    需要注意的是,Flink的连接器仍然在不断地发展和改进中,新的连接器也可能随时加入到Flink的连接器生态系统中。因此,建议您定期关注Flink的官方文档和社区活动,以获取最新的连接器和相关信息。

    2023-04-23 20:13:04
    赞同 展开评论 打赏
  • 热爱开发

    阿里云官方已经将他们开发和维护的Flink连接器全部放在了一个仓库中,这个仓库名为"flink-connectors"。这样做的好处是使得用户可以更方便地找到和使用这些阿里云提供的Flink连接器,也便于阿里云进行管理、更新和发布。

    2023-04-23 16:51:26
    赞同 展开评论 打赏
  • 技术架构师 阿里云开发者社区技术专家博主 CSDN签约专栏技术博主 掘金签约技术博主 云安全联盟专家 众多开源代码库Commiter

    Apache Flink 的所有连接器都托管在官方 GitHub 仓库中的 flink-connectors 目录下,您可以在以下链接中找到该目录:

    https://github.com/apache/flink/tree/master/flink-connectors

    在该目录下,每个子目录代表一个特定的连接器。例如,flink-csv 目录包含 CSV 格式的输入和输出连接器,flink-jdbc 目录包含与 JDBC 数据库的连接器等。

    除了官方的连接器之外,Flink 社区还维护了许多其它非官方的连接器,这些连接器通常也托管在 GitHub 上。如果您需要使用特定的连接器,请先查看官方的连接器是否已满足您的需求。

    2023-04-23 16:45:39
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载