uniq：去除重复行

xiaohai 2021-06-10 11:30:34 共4019人围观 标签： Linux 
简介 uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。
说明

  uniq命令用于输出或忽略文件中的重复行(连续出现的相同行)。在工作中，我们会先对文件进行排序，然后去重计数。

格式

  uniq [option] [filename/input]

常用参数说明
  • -c：去除重复行，并计算每行出现的次数
  • -d：只显示重复的行
  • -u：只显示唯一的行
示例

1、不带参数进行去重

[root@localhost ~]# cat uniq.txt 
2018-06-08
2018-06-09
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09
[root@localhost ~]# uniq uniq.txt #去除了2018-06-09连续出现的相同行
2018-06-08
2018-06-09
2018-06-08
2018-05-04
2018-06-08
2018-06-09

2、排序再去重

[root@localhost ~]# sort uniq.txt > uniq.txtu
[root@localhost ~]# cat uniq.txtu
2018-05-04
2018-06-08
2018-06-08
2018-06-08
2018-06-09
2018-06-09
2018-06-09
[root@localhost ~]# uniq uniq.txtu
2018-05-04
2018-06-08
2018-06-09

#直接使用管道进行处理
[root@localhost ~]# sort uniq.txt|uniq
2018-05-04
2018-06-08
2018-06-09

3、-c参数的使用，计算重复的次数

[root@localhost ~]# sort uniq.txt|uniq -c
      1 2018-05-04
      3 2018-06-08
      3 2018-06-09

4、-d和-u参数的使用

[root@localhost ~]# sort uniq.txt|uniq -d
2018-06-08
2018-06-09
[root@localhost ~]# sort uniq.txt|uniq -u
2018-05-04

相同类型文章

热门标签

每日一句

    此去何时见也？襟袖上空惹啼痕。

    ——秦观

今日排行

  • Dockerfile和docker-compose.yml设置时区

    在使用功能镜像的时候，需要对时区进行修改，那么就需要从两个方面来考虑，本文主要记录Dockerfile和docker-compose.yml设置时区。

  • 网页扫描二维码库：Html5-Qrcode

    网页扫描二维码库：Html5-Qrcode，官网地址：https://scanapp.org/html5-qrcode-docs/

  • SSH删除密钥

    以前配置了服务器的免密登录，但是后期重新装了操作系统，那么再次尝试却出现了WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!提示，那么我们需要将以前的公钥删掉

  • cd：显示当所在位置

    cd命令(change dirctory)用来切换工作目录至dirname。

  • 人脸认证：face_recognition库的安装与应用

    人脸识别技术如今已广泛应用于安全监控、身份验证、人机交互等多个领域。对于开发者而言，利用现有的库如face_recognition可以极大地简化人脸识别的开发过程。本文将详细介绍如何安装face_recognition库，并通过实例展示如何用它来实现一个基本的人脸比对服务。

点击排行

友情链接