Cравнение файлов на предмет дублирования текста

Необходимо сравнить содержимое двух архивов стихов с помощью специализированного ПО, удалить точные дубликаты и выбрать лучшие версии текстов при наличии расхождений. 

Работа требует внимания к деталям и умения пользоваться программами для сравнения текста. Необходимо быть готовым тщательно вручную проверять тексты, обращая внимание на малейшие различия и не полагаясь исключительно на автоматику ПО, а также иметь опыт работы с подобными задачами. Программа, которую вы будете использовать, должна позволять вам сравнивать тексты по содержанию, а не только по названиям документов. 

Задача: 
Сравнить содержимое архива "Задача 1” с папкой "Эталон".  

Результат: 
Из папки "Задача 1" удалить все файлы со стихами, которые полностью дублируют стихи из папки "Эталон". 
Для файлов с неполным совпадением (менее 100%) необходимо использовать ручное сравнение и выбор более качественной версии (приоритет отдается "эталонным" файлам).
В папке “Задача 1” должны остаться только файлы с текстами, которых нет в архиве “Эталон”.

Обратите внимание, что: 
- Файлы могут содержать несколько стихов (от одного до сотни).
- Файлы могут не совпадать по названию.
- Тексты стихов могут различаться версиями (например, небольшие опечатки). Значительно различающиеся версии одного стиха необходимо сохранить как вторую версию. 

Срок на исполнение – до 2 недель.