Подключите нашего Telegram-бота для уведомлений о новых проектах
Написать программу многопоточный парсер
Заказчик
Отзывы фрилансеров:
+ 0
- 0
Зарегистрирован на сайте 6 лет и 1 месяц
многопоточный парсер на python
1. Каждый поток получает свой адрес прокси
2. Поток из очереди выбирает адрес для скачивания данных и результаты складывает в другую очередь для вычислений. Пауза скачивания 3 секунды в рамках 1 айпи
3. Пул процессов обрабатывает данные из очереди и передает в очередь на загрузку
4. Поток на загрузку сохраняет данные в базе postgresql
Запуск в windows
Разделы:
Опубликован:
23.12.2019 | 14:07
Теги: написать программу, создать программу, разработать программу, разработчики программ, прикладной программист