Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Perl: Регулярные выражения > удалить дубли из файла


Автор: FreeGanzter 21.2.2018, 17:40
Помогите пожалуйста удалить дубли из файла которые повторяются  меньше 2ух раз

Код

fdsfsdfsf
fsdfdsfsdfsd
fdsfsfdfdsf
fsdfsfsfsf
fsdfsdfsdf
fsdfsfsdfdf
fsdfsfsfdsfds
fdsfsfdsfsfsd2324
fsdfsdfsfsdf
fsdfsfsdfs
sdasdsad
fdsfsdfsf
fsdfdsfsdfsd5345
fdsfsfdfdsf
fsdfsfsfsf5435
fsdfsdfsdf
fsdfsfsdfdf
fsdfsfsfdsfds
fdsfsfdsfsfsd
fsdfsdfsfsdf
fsdfsfsdfs

Файл вот такова формата .txt  100 мб

Автор: arto 22.2.2018, 13:33
sort|uniq -c|awk '{if($1!="1")print$2}'

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)