Парсинг формы

Необходимо распарсить выпадающую форму с последующей обработкой данных, а именно:

1. Парсер собирает данные из формы, которая реализована на AJAX. Далее он сохраняет собранные данные + URL адреса страниц в файл.
2. Парсер переходит по собранным URL адресам и ищет там числовые данные, после чего сохраняет их в тот же файл.
3. Как только файл с данными будет сформирован, мы должны написать микро модуль, который по описанным алгоритмам удалит дубли из собранных данных, а так же почистит всевозможный мусор. 

Фильтрация:

- Перенести данные в столбец
- Удалить символ _
- Вставить пробел
- Удалить дубли

Парсер может быть написан как веб приложение или же как ПО под винду (значения не имеет). Так же меня интересует не сам парсер, а выходные данные, которые собственно и оплачиваются. 

ТЗ в проекте