Бюджет:
123 456 руб
Здравствуйте, есть свежий натянутый сайт на Opencart, на сайте планируется залить около 15 млн товаров, нужно для него написать парсер, который пока что будет срарсить с трех ресурсов, сперва сделаем первый.
По итогу парсер должен забирать информацию с ресурсов и заливать в саму БД, или в CMS, т.е. не просто получить файл с товарами, а именно с настройкой заливки + разные тонкости, более детально описано в ТЗ, также парсер должен будет иметь возможность обновлять товары на сайте без вмешательства контент-менеджера.
На первом ресурсе около 9 млн товаров, часть полей можно выкачать за 4-5 часа из общей таблицы с товарами, но кроме одной характиристики, которая находится только в каждой отдельной карточки, и тут самый важный момент что нужно сделать многопоточный парсер с прокси, чтобы не выкачивать это все 3 месяца(так выходит если качать один товар в секунду), а быстрее насколько реально.
Задание вышлю кандидатам.
При ответе обязательно покажите примеры Ваших работ, опишите опыт какой у Вас в парсерах.
Также начинайте ответ: я проф по многопоточным парсерам и знаю как работать с прокси.
Бюджет указан фиктивный.
Спасибо!