Подключите нашего Telegram-бота для уведомлений о новых проектах
Специалист NodeJs для парсинга сайтов с защитами от ботов.
Заказчик
Отзывы фрилансеров:
+ 1
- 0
Зарегистрирован на сайте 13 лет и 2 месяца
Бюджет:
по договоренности
Есть несколько сайтов, которые ставят стороннюю защиту от ботов, где основной сайт куда-то редиректит.
Там браузер заставляют выполнить какой-то JS код и возвращают назад, где основной сайт уже доступен, так как есть нужные куки или гет-параметры.
Парсили с помощью Chrome headless Все работает, но это очень ресурсоемко у нас выходит. Так как надо много запросов делать на сайт с разными параметрами.
Раньше не беспокоило, теперь беспокоит. Так как скорее всего можно обойти защиты не используя реальный браузер, а просто найти алгоритм генерации этого ключа и выполнить его на стороне nodejs, так как все эти защиты с выполнением JS-кода.
Студиям с портфолио сайтов-визиток и шаблонными ответами прошу не беспокоить. Добавлю в спам.
Разделы:
Опубликован:
10.10.2018 | 11:15 [последние изменения: 10.10.2018 | 11:17]
Теги: нужен программист, резюме программиста, требуется программист, резюме веб программиста