Google Art Project: Парсинг работ художников из открытых источников / Парсинг, перенос данных, ZennoPoster: Портфолио фрилансера Борис Колупаев 20.07.2015, работа №20 - FL.RU
Google Art Project: Парсинг работ художников из открытых источников / Парсинг, перенос данных, ZennoPoster
По заказу клиенты был написан парсер и получены из открытых источников изображения из проекта Google Art Project.
Было получено 20916 изображений (103 ГБайта), которые в последствии были рассортированы по 4895 категориям с фамилиями художников.
Разработка парсера заняла менее 1 часа, скачивание данных заняло 6 часов, архивация и загрузка в облако Mail.Ru заказчика - 10 часов.
Работа системы неотличима от работы реального человека. Это дает возможность получать результаты, которые недоступны другим парсерам/автоматизаторам, а также значительно затрудняют задачу по блокировке. Дополнительно возможна работа парсера через прокси-сервера с проверкой прозрачности.
https://www.google.com/culturalinstitute/project/art-project?hl=ru