https://softorium.pro/post/Razrabotka_parsera_apteki
Нередко к нам обращаются за разработкой парсеров.
Что такое парсер
Парсер — это программа, которая собирает с сайтов информацию по заданным параметрам. Это могут быть название и стоимость товара или контакты ответственных лиц. С помощью парсера собирают контент для своего ресурса, например агрегатора новостей, или информацию о товарах с сайта поставщика.
Сам по себе сбор информации с сайтов не является технически сложной задачей или уголовно наказуемым — информация, размещенная в публичном доступе, обычно не охраняется, кроме отдельных случаев, регулируемых авторским правом. Но, если владельцы сайта-донора не хотят делиться контентом с конкурентами, они прилагают серьезные усилия для защиты своей информации. И тогда задача создания парсера многократно усложняется.
Наш заказчик — владелец онлайн-аптеки — хотел получить информацию о ценах сайта-конкурента.
Парсер должен был иметь следующие функции:
• возможность запуска по расписанию;
• защиту от одновременного запуска нескольких процессов парсинга;
• обход защиты донора;
• возможность использовать прокси для обхода блокировки IP-адреса, с которого отправляются запросы;
• сбор информации по категориям товаров с возможностью изменения списка категорий;
• сохранение результата работы парсера в txt-файл.
С уважением, Евгений
Телеграмм @john081076
Другие работы фрилансера
Фрилансер готов решать задачи повышенной сложности и работать с крупными проектами.