Як видалити повторювані рядки.

Ручний пошук великої кількості дублікатів - досить трудомістке заняття. Для полегшення поставленого завдання рекомендується використовувати спеціальні програми, т.к. комп'ютер створювався для полегшення роботи. Вага таких програм, як правило, дуже малий, тому ви зможете її завантажити за лічені секунди.
Вам знадобиться
  • Програмне забезпечення Text Duplicate Killer.
Інструкція
1
Для пошуку дублікатів вам необхідно встановити дану програму. Для цього скопіюйте файли з zip-архіву в будь порожній каталог. Після її запуску необхідно привести піддослідний файл до формату ASCII. Запуск утиліти здійснюється подвійним клацанням по файлу tdk.exe.
2
В головному вікні програми натисніть верхнє меню «Файл» і виберіть пункт «Відкрити вихідний файл». У вікні, вкажіть файл, для якого буде проведений пошук дублікатів.
3
Натисніть меню «Файл» і виберіть пункт «Поставити цільової файл» - вкажіть ім'я файлу, в який будуть записані результати роботи.
4
Для запуску процесу видалення дублікатів натисніть верхнє меню «Операції» і виберіть опцію «Прибрати дублікати». Незважаючи на тривалість всього процесу, ви можете в будь-який момент перервати хід роботи, для цього натисніть кнопку «Стоп». Для даної програми діє правило, що при великому обсязі зупинка процесу триває більше часу, ніж для файлу невеликого обсягу.
5
Ім'я цільового файлу можна задавати самостійно, а можна доручити цю справу програмі. Для цього натисніть на кнопку із зображенням чарівної палички. Варто відзначити, що для багаторазового виконання операції для різних файлів необхідно задавати нові імена, інакше результати минулих спроб будуть безповоротно видалені.
6
Для налаштування додаткових параметрів використовуйте меню "Опції". Для пошуку дублікатів незалежно від їх регістрів необхідно вибрати пункт «Ігнорувати регістр». Наприклад, Register, register і REGISTER після включення цієї опції будуть розглянуті програмою, як дублікати. Також буде корисно активувати опцію «Ігнорувати ведучі та кінцеві пробіли» - прогалини йдуть перед словом і після слова будуть автоматично пропущені, тобто слова «порядок», «порядок» і «порядок» будуть ідентичні.
Відео по темі
 http://www.youtube.com/watch?v=ywNDLqPjtZg