Требуется разработать скрипт, который, последовательно используя шаблоны используемых регулярных выражений, будет очищать столбец данных таблиц в формате CSV (данные, разделённые запятыми) от различных ненужных данных:
1. Контактных телефонов, адресов email, адресов сайтов и ссылок в различных окончаниях, личных имён, фамилий, названий компаний, наименования лота и прочих ненужных (персонализирующих) данных.
2. Будет удалять лишние дублирующиеся символы типа двойных и более пробелов, знаков препинания, слешей и прочих ненужных дублей.
3. Будет сохранять исходную структуру (последовательность строк, и сохранение данных в одной ячейке), при этом важно, чтобы были удалены только те данные, которые требуется удалить.
Пример строки/ ячейки, которые надо зачистить от мусора:
А. До зачистки:
'Примечание:
Агент: Дедов Евгений Иванович (8-916-740-14-07). Лот N11413. Продается 3комнатная квартира. СТАН-ООО "Столичное Агентство Недвижимости", м. Улица 1905 года, 5 мин.п., дом 5. Общ. пл. 86 кв.м, жилая 53,5, кухня 11. Видео:
Комнаты изолированные: 22+16+15,5. Тел.: +7 495 9684-444, звоните с утра!!!!Потолки 2,9 м. Санузел совмещенный, балкон, домофон. 5-тикамерные стеклопакеты повышенной шумоизоляции, ванна – джакузи. Теплые полы. Евроремонт, авторский дизайн, импортная мебель, встроенная мебель, бытовая техника. Тихий двор, рядом гараж, детская площадка. Свободная продажа. Эксклюзивный договор. Документы в Агентстве. , Комнаты: /// 22. 16. 15.5, окна во двор/улицу, эксклюзивный евроремонт, лифт есть, прямая продажа
Б. После:
Продается 3комнатная квартира. м. Улица 1905 года, 5 мин.п., дом 5. Общ. пл. 86 кв.м, жилая 53,5, кухня 11. Комнаты изолированные: 22+16+15,5. Потолки 2,9 м. Санузел совмещенный, балкон, домофон. 5-тикамерные стеклопакеты повышенной шумоизоляции, ванна – джакузи. Теплые полы. Евроремонт, авторский дизайн, импортная мебель, встроенная мебель, бытовая техника. Тихий двор, рядом гараж, детская площадка. Свободная продажа. Эксклюзивный договор. Документы в Агентстве. окна во двор/улицу, эксклюзивный евроремонт, лифт есть, прямая продажа
Методика решения задачи:
1. Подготовка дополняемых словарей для замены:
а. Имена, Фамилии, названия агентств/ компаний, прочие конкретные выражения с разными окончаниями.
б. Номера телефонов, в различных форматах написания (для этого так же могу предоставить словарь номеров телефонов, которые надо чистить, его так же надо использовать в работе).
в. Адреса почт с различными доменами (.рф, .ru и др.).
г. Адреса сайтов с различными доменами (.рф, .ru и др.).
д. Ссылки (на сайты/ объёкты) в разных форматах.
2. Анализ предоставленных исходных данных с целью дополнить список персонализирующей информации для словарей зачистки.
Файлы к ТЗ по ссылке:
1. Предыдущая наработка по данному направлению, включая Уроки по регулярным выражениям.
В итоге было решено компилировать описание, исходя из наличия определённых параметров, а не путём его очистки от ненужной информации.
2. Таблица с описанием, как пример того, что требуется зачистить от мусора.
3. Данное ТЗ.
Итог работы: скрипт или приложение, с инструкцией по установке и использованию, которое позволяет зачищать описания от 80% чистых итоговых строк.
Словари данного приложения должны быть расширяемые, дополняемые.
В проекте отвечаем: срок, бюджет, когда готовы приступить, какой тип приложения будет, какие видите сложности.