开发者社区> 问答> 正文

处理文本文件中重复的行

有一个文本文件,内容如下:
aa
bbbb
bbbb
aa
cc
1) 如果要求只保留没有重复的行,则应该输出
cc
2) 如果要求过滤重复的行,则应该输出
aa
bbbb
cc

用Linux的shell脚本搞定他

展开
收起
a123456678 2016-06-12 16:16:29 2113 0
2 条回答
写回答
取消 提交回答
  • 1.取出没有重复的行
    sort yourfile |uniq -c|awk '{if($1==1) print $2}'
    或者 sort yourfile |uniq -u
    sed用法 : sort yourfile |uniq -c|sort|sed -n 1p

    2.如果要求过滤重复的行
    sort yourfile |uniq

    2019-07-17 19:34:27
    赞同 展开评论 打赏
  • 1 sort filename |uniq -u

    1. sort -u file 或者 sort filename|uniq
    2019-07-17 19:34:27
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载