Подключите нашего Telegram-бота для уведомлений о новых проектах

Специалист NodeJs для парсинга сайтов с защитами от ботов.

m
Заказчик
Отзывы фрилансеров: + 1 - 0
Зарегистрирован на сайте 13 лет и 2 месяца
Бюджет: по договоренности
Есть несколько сайтов, которые ставят стороннюю защиту от ботов, где основной сайт куда-то редиректит. 
Там браузер заставляют выполнить какой-то JS код и возвращают назад, где основной сайт уже доступен, так как есть нужные куки или гет-параметры.

Парсили с помощью Chrome headless – Все работает, но это очень ресурсоемко у нас выходит. Так как надо много запросов делать на сайт с разными параметрами.
Раньше не беспокоило, теперь беспокоит. Так как скорее всего можно обойти защиты не используя реальный браузер, а просто найти алгоритм генерации этого ключа и выполнить его на стороне nodejs, так как все эти защиты с выполнением JS-кода.

Студиям с портфолио сайтов-визиток и шаблонными ответами – прошу не беспокоить. Добавлю в спам.
Разделы:
Опубликован:
10.10.2018 | 11:15 [последние изменения: 10.10.2018 | 11:17]

Теги: нужен программист, резюме программиста, требуется программист, резюме веб программиста

Наши партнеры
Сведения об ООО «Ваан» внесены в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий. ООО «Ваан» осуществляет деятельность, связанную с использованием информационных технологий, по разработке компьютерного программного обеспечения, предоставлению доступа к программе для ЭВМ и является правообладателем программы для ЭВМ «Платформа FL.ru (версия 2.0)».