Заказчик
Отзывы фрилансеров:
+ 46
- 0
Зарегистрирован на сайте 14 лет и 2 месяца
Бюджет:
по договоренности
Парсер заходит на сайт донор, собирает там информацию поступившую в определенную дату по указанной нами области и отправляет письмо в виде таблички на указанный емейл.
Необходимо доработать парсер таим образом, чтобы соблюдались следующие ключ. действия:
1. Минимальное кол-во обращений к серверу, не делать одновременно несколько обращений к серверу, на текущий момент парсер чтобы собрать данные за указанную дату открывает весь список информации и начинает листать до начала информации поступившей от определенной даты, считаю что сделано не правильно, т.к. можно с самого начала забить нужную дату в фильтр поиска на сайте, указать название области и указать нужную дату уже получить готовый список в виде ответа самого сайта и таким образом снизить кол-во обращений.
Соответвенно нам отобразится n-ое кол-во страниц содержащий информацию за определенную дату нужной нам области и сразу бежать по ним всем не надо, сохранить ссылки на них и начать проходить информацию размещенную на каждой странице по очереди, лист за листом. Чтобы максимально быть похожим на живого человечка.
Скрипт должен быть защищен от обрыва связи и чтобы запускался повторно с того же момента на котором остановился или пропускал нерабочий элемент.
2. Расстановка задержек между обращениями к серверу, причем должны быть неравномерные задержки даже для одинаковых запросов, чтобы не было похоже на автоматику, задать случайный выбор задержки для каждого действия в промежутке от 20 до 60 секунд между запросами.
3. Не должно приходить пустое письмо, должно приходить письмо только со всеми собранными данными (исключать только недоступные ссылки на дела если таковые имеются).
Бюджет доработки 1000 руб. и дам еще заказ на починку другого парсера там посложнее на 1500 рублей.
Разделы:
Опубликован:
17.02.2015 | 08:37