开发者社区> 问答> 正文

请问flink sql 1.15 不能引入阿里的flink-connector-clickhouse

请问flink sql 1.15 不能引入阿里的flink-connector-clickhouse?

环境说明:flink sql 1.15 on yarn 模式

现在需要去读取kafka的数据,然后写入clickhouse。

在网上查了可以添加阿里的如下依赖文件:


com.aliyun
flink-connector-clickhouse
1.12.0

但添加这个文件失败报如下错误:
Failure to find com.aliyun:flink-connector-clickhouse:jar:1.12.0 in http://10.16.66.237:8090/repository/maven-public/ was cached in the local repository, resolution will not be reattempted until the update interval of nexus has elapsed or updates are forced

请问下这个依赖在哪里可以下载?

展开
收起
游客fuzojzpl5x2bu 2023-09-07 15:45:33 125 0
3 条回答
写回答
取消 提交回答
  • 微信截图_20230902110117.png
    建议您查看一下阿里云的 Maven 仓库,确认是否存在与您所需版本对应的 flink-connector-clickhouse 依赖。可以搜索 flink-connector-clickhouse 关键字来查找相关依赖。微信截图_20230902110126.png

    2023-09-08 18:06:44
    赞同 展开评论 打赏
  • 根据您提供的信息,您想在 Flink SQL 1.15 版本中使用阿里云的 flink-connector-clickhouse 插件,但是在添加依赖时遇到了问题。

    从错误信息来看,您尝试从 Nexus Maven 仓库下载 com.aliyun:flink-connector-clickhouse:jar:1.12.0 的依赖失败。这可能是因为您的项目的 Maven 配置没有正确指向可用的 Maven 仓库,或者所使用的 Maven 仓库没有该依赖的版本。

    关于阿里云的 flink-connector-clickhouse 插件,可以尝试从阿里云的 Maven 仓库中获取依赖。阿里云的 Maven 仓库地址为:

    https://developer.aliyun.com/mvn/guide

    请确保您的 Maven 配置文件(settings.xml)中包含了上述 Maven 仓库地址,并且配置正确。

    image.png

    另外,建议您查看一下阿里云的 Maven 仓库,确认是否存在与您所需版本对应的 flink-connector-clickhouse 依赖。可以搜索 flink-connector-clickhouse 关键字来查找相关依赖。

    如果无法在阿里云的 Maven 仓库中找到相应的依赖,您还可以尝试搜索其他 Maven 仓库,如 Maven Central Repository (https://mvnrepository.com/ ),以查找符合您需求的 flink-connector-clickhouse 依赖。
    image.png

    2023-09-08 08:34:44
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    您可以在您的 Flink SQL 1.15 项目中添加阿里云的 flink-connector-clickhouse 依赖。在您的 pom.xml 文件中添加以下依赖:


    com.aliyun.flink
    flink-connector-clickhouse
    1.1.0

    请注意,您可能需要根据您的需求调整版本号。在添加依赖之后,确保重新构建并运行您的项目。
    另外,关于读取 Kafka 数据并写入 ClickHouse,您可以在 Flink SQL 中创建一个 Kafka 数据源,然后使用阿里云的 flink-connector-clickhouse 将数据写入 ClickHouse。以下是一个简单的示例:

    CREATE TABLE kafka_source (
    id INT,
    name STRING,
    age INT
    )
    ENGINE = KAFKA()
    DUPLICATE KEY(id)
    BOUND BY RANGE(0, 10000)
    ;
    CREATE TABLE clickhouse_sink (
    id INT,
    name STRING,
    age INT
    )
    ENGINE = clickhouse()
    ;
    INSERT INTO clickhouse_sink
    SELECT * FROM kafka_source;

    这个示例中,我们首先创建了一个名为 kafka_source 的表,该表从 Kafka 数据源中读取数据。

    2023-09-08 07:36:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载