开发者社区> 问答> 正文

Flink中的分布式缓存具体是怎样使用的啊?

Flink中的分布式缓存具体是怎样使用的啊?

展开
收起
游客vwuxaq6iqaowc 2021-12-08 14:10:25 369 0
1 条回答
写回答
取消 提交回答
  • Flink实现的分布式缓存和Hadoop有异曲同工之妙。目的是在本地读取文件,并把他放在 taskmanager 节点中,防止task重复拉取。

    val env = ExecutionEnvironment.getExecutionEnvironment

    // register a file from HDFS env.registerCachedFile("hdfs:///path/to/your/file", "hdfsFile")

    // register a local executable file (script, executable, ...) env.registerCachedFile("file:///path/to/exec/file", "localExecFile", true)

    // define your program and execute ... val input: DataSet[String] = ... val result: DataSet[Integer] = input.map(new MyMapper()) ... env.execute()

    2021-12-08 14:10:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
用户态高速块缓存方案 立即下载
高性能Web架构之缓存体系 立即下载