uniq：去除重复行

xiaohai 2021-06-10 11:30:34 共3856人围观 标签： Linux 
简介 uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。
说明

  uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。

格式

  uniq [option] [filename/input]

常用参数说明
  • -c：去除重复行，并计算每行出现的次数
  • -d：只显示重复的行
  • -u：只显示唯一的行
示例

1、不带参数进行去重

[root@localhost ~]# cat uniq.txt 
2018-06-08
2018-06-09
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09
[root@localhost ~]# uniq uniq.txt #去除了2018-06-09连续出现的相同行
2018-06-08
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09

2、排序再去重

[root@localhost ~]# sort uniq.txt > uniq.txtu
[root@localhost ~]# cat uniq.txtu
2018-05-04
2018-06-08
2018-06-08
2018-06-08
2018-06-09
2018-06-09
2018-06-09
[root@localhost ~]# uniq uniq.txtu
2018-05-04
2018-06-08
2018-06-09

#直接使用管道进行处理
[root@localhost ~]# sort uniq.txt|uniq
2018-05-04
2018-06-08
2018-06-09

3、-c参数的使用，计算重复的次数

[root@localhost ~]# sort uniq.txt|uniq -c
      1 2018-05-04
      3 2018-06-08
      3 2018-06-09

4、-d和-u参数的使用

[root@localhost ~]# sort uniq.txt|uniq -d
2018-06-08
2018-06-09
[root@localhost ~]# sort uniq.txt|uniq -u
2018-05-04

相同类型文章

热门标签

每日一句

    挤公交是包含散打、瑜珈、柔道、平衡木等多种体育和健身项目于一体的综合性运动。

    ——周立波

今日排行

  • Git保存和清除用户名、密码

    在使用Git的过程中，不想每次都输入用户名和密码去拉取代码，所以就需要保存这些信息，那么既然有保存了，就必须有清除功能。

  • PHP中使用Skywalking

    PHP中使用Skywalking

  • ip：网络配置工具

    ip命令是iproute软件包中的一个强大的网络配置工具，用于显示和管理Linux系统的路由、网络设备、策略路由和隧道。Centos7推荐使用ip命令代替传统的ipconfig和route[该命令我们没有进行说明，需要学习的请参考网上资料]命令。

  • yarn、npm配置阿里云国内镜像（新镜像）

    nodejs中使用npm和yarn，使用最新阿里云镜像 aliyun mirror，网上很多还是文章用的是下面这个地址~~yarn config set registry https://registry.npm.taobao.org~~

  • Flutter的第一个程序“Hello World”

    Flutter的第一个程序“Hello World”

点击排行

友情链接