开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink资源类型只有jar、dictionary、普通配置文件选dictionary吗?

Flink资源类型只有jar、dictionary、python,普通配置文件选dictionary吗?

展开
收起
三分钟热度的鱼 2023-10-24 21:09:17 51 0
4 条回答
写回答
取消 提交回答
  • 在Flink中,资源类型主要包括jar、dictionary和python。其中,jar是Flink作业的运行方式之一,可以支持复杂的计算逻辑,如机器学习算法等。而Python作业则可以使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等。至于dictionary,它主要用于离线任务的配置,可以在作业启动前或者作业上线后进行配置和修改。因此,对于普通配置文件来说,选择使用dictionary是可行的。

    2023-10-29 07:52:14
    赞同 展开评论 打赏
  • 是的,Flink的资源类型主要有三种:JAR、Dictionary和Python。

    • JAR:这是最常见的资源类型,主要用于存储Java程序或库。
    • Dictionary:这种类型的资源主要用于存储配置信息,如数据库连接信息、参数配置等。
    • Python:这种类型的资源主要用于存储Python程序或库。

    对于普通的配置文件,通常我们会选择Dictionary类型。因为Dictionary类型可以将配置文件中的信息以键值对的形式存储,方便我们在运行时动态获取和使用。

    具体的资源类型选择还需要根据你的实际需求来决定。例如,如果你的配置文件中的信息需要在多个任务中共享,那么你可能需要将其存储为JAR资源。如果你的配置文件中的信息只需要在单个任务中使用,那么你可能需要将其存储为Dictionary资源。

    2023-10-25 10:56:24
    赞同 展开评论 打赏
  • 是说 yaml/properties/xml 文件,dictionary 传即可。此回答整理自钉群“实时计算Flink产品交流群”

    2023-10-24 22:12:15
    赞同 展开评论 打赏
  • 在Flink中,资源类型可以是jar、dictionary、python和普通配置文件。如果你的配置文件不是jar、dictionary或python文件,那么你可以将其设置为普通配置文件类型。
    普通配置文件类型用于存储任何类型的文件,包括文本文件、XML文件、JSON文件等。你可以将你的配置文件设置为普通配置文件类型,并在Flink应用程序中使用ExecutionEnvironment.addConfiguration方法来加载和使用它。
    例如,你可以使用以下代码将你的配置文件设置为普通配置文件类型,并加载和使用它:

    ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
    env.addConfiguration(new Configuration().setString("my.config.option", "my.config.value"));
    

    在这个示例中,我们首先创建了一个Configuration对象,并设置了一个配置选项的值。然后,我们使用ExecutionEnvironment.addConfiguration方法将Configuration对象添加到了Flink的配置中。
    注意,当你将一个配置文件设置为普通配置文件类型时,Flink不会自动解析或加载它。你需要使用其他方法来解析和加载它。例如,你可以使用Java的Properties类来加载和解析一个文本配置文件。

    2023-10-24 21:40:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载