Flink CDC运行本身已经有的依赖放在哪里了？

展开

收起

真的很搞笑 2023-12-01 10:53:31 39 0

3 条回答

写回答

取消提交回答

sunrr
Flink CDC的运行依赖通常会被放在项目的构建工具（如Maven或Gradle）中管理的库文件夹里。这些依赖包括但不限于Flink程序本身、Flink CDC以及你所使用的特定数据库的连接器。如果你使用的是Maven，那么这些依赖会被放在你的.m2/repository文件夹中；如果是Gradle，那么它们会被放在~/.gradle/caches文件夹中。

例如，在基于Flink 1.14.3的环境中使用MySQL作为数据源时，你可能需要以下的依赖：
- Flink程序和Scala版本：flink-scala_2.11:1.14.3
- MySQL连接器：mysql-connector-java_8.0_26.jar
- Flink CDC：flink-cdc-connector-mysql_2.11:1.1.0
你需要将这些依赖添加到你的构建文件中，这样在编译和运行项目时，构建工具就能自动下载和管理这些依赖了。
2023-12-02 15:57:05

赞同展开评论打赏
Star时光
Flink CDC 运行时所需的依赖项（如 Flink 核心库、Debezium 等）通常会放在 Flink 的类路径下。具体来说，这些依赖项通常位于以下目录中：
1. Flink 安装目录下的 lib 目录：Flink 核心库和一些共享的依赖项通常会放在 Flink 安装目录下的 lib 目录中。这包括 Flink 核心模块、Flink Connectors 和一些必要的运行时库。
2. Flink Job 依赖目录：当您提交 Flink CDC Job 时，可以通过命令行参数或配置文件指定额外的依赖项目录。该目录中的依赖项将与作业一起提交并加载到 Flink 的类路径中，以供 CDC Job 使用。
2023-12-02 10:22:08

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看
在Flink CDC的环境中，运行时依赖通常位于以下几个位置：
1. 本地文件系统：
  
  如果你在本地开发环境中运行Flink CDC，那么相关的依赖可能会被放在你的项目目录下，或者你指定的地方。
  对于Standalone模式下的部署，依赖包可能被放置在集群节点上的特定目录中。
2. Docker镜像：
  
  如果你使用Docker容器来运行Flink CDC，那么相关依赖应该已经包含在Docker镜像中。
3. Hadoop Distributed File System (HDFS) 或其他分布式文件系统：
  
  在生产环境中，为了便于管理和分发，依赖包可能会被上传到HDFS或其他分布式文件系统上。
4. 远程存储服务：
  
  有时，依赖包会被上传到云存储服务如Amazon S3、Google Cloud Storage等地方。
5. 类加载器路径：
  
  Flink会使用自己的类加载器来管理依赖。如果你正在运行一个打包好的应用程序，比如JAR或Uber JAR，那么这些依赖可能已经被嵌入到了应用中，并由Flink的类加载器进行加载。
2023-12-01 17:55:28

赞同展开评论打赏