Парсер сайтов

Разработать парсер, который будет автоматизировать процесс поиска предприятий-производителей определенного товара, извлечения их реквизитов и анализа доли выручки от продажи исследуемого товара.
Функциональные требования
Модуль поиска и сбора данных
• Разработать универсальную методологию формирования поисковых запросов для различных категорий товаров
• Выполнять автоматизированный поиск по ключевым словам в поисковой системе Google/Яндекс
• Собирать результаты с первых 10 страниц поисковой выдачи
• Фильтровать и сохранять в БД только уникальные сайты/домены
Модуль обработки данных о компаниях
• Парсить каждый найденный сайт и извлекать следующие данные:
• Название компании
• ИНН
• ОГРН
• Сохранять полученные данные в БД
Модуль анализа ассортимента
• Парсить каталог продукции на каждом сайте
• Определять перечень производимых товаров
• Сохранять информацию о продуктах в БД
Модуль финансового анализа
• Автоматизированный сбор данных о выручке компаний через сервис Руспрофайл
• Расчет доли выручки от продажи конкретного продукта на основе процентного соотношения по категории товара