Google Art Project: Парсинг работ художников из открытых источников / Парсинг, перенос данных, ZennoPoster: Портфолио фрилансера Борис Колупаев 01.04.2020, работа №14 - FL.RU
Google Art Project: Парсинг работ художников из открытых источников / Парсинг, перенос данных, ZennoPoster
По заказу клиенты был написан парсер и получены из открытых источников изображения из проекта Google Art Project.
Было получено 20916 изображений (103 ГБайта), которые в последствии были рассортированы по 4895 категориям с фамилиями художников.
Разработка парсера заняла менее 1 часа, скачивание данных заняло 6 часов, архивация и загрузка в облако Mail.Ru заказчика - 10 часов.
Работа системы неотличима от работы реального человека. Это дает возможность получать результаты, которые недоступны другим парсерам/автоматизаторам, а также значительно затрудняют задачу по блокировке. Дополнительно возможна работа парсера через прокси-сервера с проверкой прозрачности.