开发者社区 问答 正文

Flink中的分布式缓存如何使用?

Flink中的分布式缓存如何使用?

展开
收起
游客qzzytmszf3zhq 2021-12-07 19:44:06 336 分享 版权
1 条回答
写回答
取消 提交回答
  • Flink实现的分布式缓存和Hadoop有异曲同工之妙。目的是在本地读取文件,并把他放在 taskmanager 节点中,防止task重复拉取。
    
    val env = ExecutionEnvironment.getExecutionEnvironment
     
    // register a file from HDFS
    env.registerCachedFile("hdfs:///path/to/your/file", "hdfsFile")
     
    // register a local executable file (script, executable, ...)
    env.registerCachedFile("file:///path/to/exec/file", "localExecFile", true)
     
    // define your program and execute
    ...
    val input: DataSet[String] = ...
    val result: DataSet[Integer] = input.map(new MyMapper())
    ...
    env.execute()
    
    
    2021-12-07 19:44:20
    赞同 展开评论