开发者社区 问答 正文

scala中的文件锁定

如何使用scala锁定Hdfs路径中的.txt文件。其他进程在解锁文件之前无法访问锁定的文件。需要在hdfs中使用scala实现。

展开
收起
社区小助手 2018-12-06 15:21:00 1660 分享 版权
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    如果您了解Hadoop概念,它将针对一次写入多次读取(WORM)操作进行优化。这意味着会有许多客户端读取相同的文件,从概念上讲,锁定任何文件都是不可能的。此外,在HDFS文件系统上写入文件时,名称节点(或主节点)将保持一致性,因此无需锁定文件。

    2019-07-17 23:18:33
    赞同 展开评论
问答分类:
问答标签:
问答地址: