Подключите нашего Telegram-бота для уведомлений о новых проектах
Парсер для сайтов без API
Заказчик
Отзывы фрилансеров:
+ 26
- 0
Зарегистрирован на сайте 12 лет и 3 месяца
Нужно написать парсер нескольких сайтов (ryanair.com, wizzair и еще несколько), у которых, к сожалению, нет API.
Задача запускать парсер через крон в несколько потоков с разными IP и юзерагентами несколько раз в сутки.
Результаты пишем в базу.
Подробности кандидату.
Сложности, которые необходимо решить:
1) Сайты не дадут создать слишком много запросов с одного IP/юзерагента в короткий срок (но объем информации, которую нужно получить небольшой).
2) Соответственно, нужно делать через прокси или каким-то еще образом, но этот момент решить.
Разделы:
Опубликован:
20.01.2016 | 15:36
Теги: нужен программист, резюме программиста, требуется программист, резюме веб программиста