команда uniq в Linux с примерами

Опубликовано: 16 Февраля, 2022

Команда linux uniq в основном используется для удаления всех повторяющихся строк в файле. Эта команда используется, когда строка повторяется несколько раз и заменяет эти несколько строк одной строкой. Эта команда предназначена для работы с отсортированными файлами.

Цель: удалить повторяющиеся строки из отсортированного «входного файла» и отправить уникальные строки в «выходной файл». Если выходной файл не указан, выходные данные команды отправляются на стандартный вывод. если 'input-file' не указан, команда принимает входные данные из стандартного вывода.

Синтаксис:

$ uniq [опция] [входной файл] [выходной файл]

Параметры :

-c: ставить перед каждой выходной строкой количество раз, которое она встречается.
-d: отображать повторяющиеся строки.
-u: отображать строки, которые не повторяются.

Примеры :
Создайте образец входного файла.

$ cat образец

Вход :
Это тестовый файл для команды uniq.
Он содержит несколько повторяющихся строк.
Он содержит несколько повторяющихся строк.
А некоторые разные.
Он содержит несколько повторяющихся строк.
Он содержит несколько повторяющихся строк.

1. Удаление повторяющихся строк, когда файл не отсортирован.

$ uniq образец

Выход :
Это тестовый файл для команды uniq.
Он содержит несколько повторяющихся строк.
А некоторые разные.
Он содержит несколько повторяющихся строк.

2. Удаление файлов-дубликатов после сортировки.

$ sort sample -> sample1
$ uniq sample1

Выход :
А некоторые разные.
Он содержит несколько повторяющихся строк.
Это тестовый файл для команды uniq.

3. Определение количества повторений строк.

$ uniq -c sample1

Выход :

1 А некоторые разные.
4 Он содержит несколько повторяющихся строк.
1 Это тестовый файл для команды uniq.

4. Нахождение повторяющихся строк.

$ uniq -d образец1

Выход :

Он содержит несколько повторяющихся строк.

5. Поиск строк, которые уникальны и хранятся в другом файле.

$ uniq -u sample1 out
$ cat out

Выход :

А некоторые разные.
Это тестовый файл для команды uniq.