Google Art Project: Парсинг работ художников из открытых источников / Парсинг, перенос данных, ZennoPoster: Портфолио фрилансера Борис Колупаев 01.04.2020, работа №14 - FL.RU
К списку работ
Борис Колупаев
Борис Колупаев

Google Art Project: Парсинг работ художников из открытых источников / Парсинг, перенос данных, ZennoPoster

image
По заказу клиенты был написан парсер и получены из открытых источников изображения из проекта Google Art Project. Было получено 20916 изображений (103 ГБайта), которые в последствии были рассортированы по 4895 категориям с фамилиями художников. Разработка парсера заняла менее 1 часа, скачивание данных заняло 6 часов, архивация и загрузка в облако Mail.Ru заказчика - 10 часов. Работа системы неотличима от работы реального человека. Это дает возможность получать результаты, которые недоступны другим парсерам/автоматизаторам, а также значительно затрудняют задачу по блокировке. Дополнительно возможна работа парсера через прокси-сервера с проверкой прозрачности.