Подключите нашего Telegram-бота для уведомлений о новых проектах
Парсинг открытых данных Pinterest
Разместить заказ
t
Заказчик
Отзывы фрилансеров:
+ 0
- 0
Зарегистрирован на сайте 4 года и 3 месяца
Бюджет:
по договоренности
Нужно написать парсер который возможно будет запускать для сбора фото, видео, гиф, текста.
Например в файле парсинга задается ссылка
По данной ссылке в разделе сохраненные находится 32 папки, все эти папки сохраняются на диск с их названиями, в каждой папке сохраняются все файлы из сохраненных пинов, это могут быть и фото, и гифки, и видео, и даже карусель из фотографий. К данной папке создается текстовый файл или эксель файл в котором указывается ссылка на данный пин, текст который содержится в описании данного пина, а так же ссылка на сторонний ресурс если она есть например как здесь: это пин из папки с логотипами.
Все медиафайлы должны быть исходного размера, а не уменьшенные копии.
Скорость парсинга должна быть относительно не высокой. Код парсинга должен корректно работать для запуска и работы с Mac на М процессоре. Если вы можете написать код только под винду, то укажите это обязательно в своем предложении. Так же могу прислать предыдущие недопиленные версии парсеров и контакты исполнителей, возможно это поможет сделать работу быстрее.
Есть аккаунты в пинтерест, например:
Есть раздел сохраненных досок (нас интересует именно он):
И есть раздел созданных пинов (пины с этих досок могут попадаться в сохраненных пинах на чужих ):
Так же в разделе сохраненных досок могут встречаться ссылки на общие доски с другими аккаунтами, например:
Вот аккаунт у которого есть и созданные пины и сохраненные доски:
Также есть аккаунты где в папках есть еще и подпапки:
Принцип работы парсера:
Мы вносим в файл .txt ряд ссылок, каждая с новой строки.
Это может быть как ссылка на корневую папку/аккаунт (, так и на доску (
Если ссылка на корневую папку (т.е. на аккаунт), то собираются абсолютно все пины, папки и подпапки из раздела сохраненных.
Если ссылка на доску, то собираются пины и подпапки с пинами только с этой доски и её подпапок.
Собираются все форматы медиафайлов в пинах.
Так же иногда встречаются пины-карусели, вот пример:
К каждой папке нужно сохранять эксель с данными (если они есть), например:
Cсылка на пин
Cсылка на источник этого пина
А так же текст к данному пину, в данном случае это: Mitsubishi DSG Diagram. The Mitsubishi DSG (often referred to as the Duonic) is the first fully automated transmission from Mitsubishi for medium-sized trucks (20,000 lbs and up)
—————————————————————————————————————————
При переходе в пин все что ниже «другие интересные пины» это рекомендации, и они не нужны.
При переходе в папку/доску, все что ниже «Посмотрите другие идеи» это рекомендации, и они не нужны.
Алгоритм:
Парсер открывает браузер, открывает главную страницу Pinterest, вводит логин и пароль, входит в аккаунт, берет первую ссылку из списка для парсинга и переходит по ней, например , эта ссылка условно является корневой папкой, парсер создает по указанному адресу для сохранения контента папку согласно никнему , в данном случае это будет папка «loadthepictures», далее парсер собирает все данные со страницы, собирая ссылки, в данном случае это 4 папки и 62 медиафайла (в числе которых не менее 8 видео), парсер создает четыре папки согласно их наименованию, далее парсер идет по этим папкам, сначала «Slipway», там так же собирает все медиафайлы и видит папку «Nice Slipway», создает ее в папке Slipway и скачивает в нее контент из этой папки, далее идет в Electrical projects собирает там все медиафайлы и если там есть другие папки, то создает папки согласно их названиям и соханят медиафайлы из них в эти папки, далее тоже самое с Tiny Houses, и аналогично с Automobiles tips.
Скачиваются изображения в оригинальном размере и в оригинальном формате, если это видео то видео, если картинка, то кртинка, если гиф то гиф.
Так же к каждой папке создается эксель документ который содержит ссылки на все пины в формате и если к этому пину исеется ссылка на источник, то напротив этой ссылки указывается ссылка на источник, в данном случае это , и текст, описание: Following are the 32 types of hammers: Ball Peen hammer, Sledgehammer, Claw hammer, Club hammer, Dead blow hammer, Tack hammer, Rubber mallet
и заголовок: 32 Different Types of Hammers and Their Uses [with Pictures]
Например в файле парсинга задается ссылка
По данной ссылке в разделе сохраненные находится 32 папки, все эти папки сохраняются на диск с их названиями, в каждой папке сохраняются все файлы из сохраненных пинов, это могут быть и фото, и гифки, и видео, и даже карусель из фотографий. К данной папке создается текстовый файл или эксель файл в котором указывается ссылка на данный пин, текст который содержится в описании данного пина, а так же ссылка на сторонний ресурс если она есть например как здесь: это пин из папки с логотипами.
Все медиафайлы должны быть исходного размера, а не уменьшенные копии.
Скорость парсинга должна быть относительно не высокой. Код парсинга должен корректно работать для запуска и работы с Mac на М процессоре. Если вы можете написать код только под винду, то укажите это обязательно в своем предложении. Так же могу прислать предыдущие недопиленные версии парсеров и контакты исполнителей, возможно это поможет сделать работу быстрее.
Есть аккаунты в пинтерест, например:
Есть раздел сохраненных досок (нас интересует именно он):
И есть раздел созданных пинов (пины с этих досок могут попадаться в сохраненных пинах на чужих ):
Так же в разделе сохраненных досок могут встречаться ссылки на общие доски с другими аккаунтами, например:
Вот аккаунт у которого есть и созданные пины и сохраненные доски:
Также есть аккаунты где в папках есть еще и подпапки:
Принцип работы парсера:
Мы вносим в файл .txt ряд ссылок, каждая с новой строки.
Это может быть как ссылка на корневую папку/аккаунт (, так и на доску (
Если ссылка на корневую папку (т.е. на аккаунт), то собираются абсолютно все пины, папки и подпапки из раздела сохраненных.
Если ссылка на доску, то собираются пины и подпапки с пинами только с этой доски и её подпапок.
Собираются все форматы медиафайлов в пинах.
Так же иногда встречаются пины-карусели, вот пример:
К каждой папке нужно сохранять эксель с данными (если они есть), например:
Cсылка на пин
Cсылка на источник этого пина
А так же текст к данному пину, в данном случае это: Mitsubishi DSG Diagram. The Mitsubishi DSG (often referred to as the Duonic) is the first fully automated transmission from Mitsubishi for medium-sized trucks (20,000 lbs and up)
—————————————————————————————————————————
При переходе в пин все что ниже «другие интересные пины» это рекомендации, и они не нужны.
При переходе в папку/доску, все что ниже «Посмотрите другие идеи» это рекомендации, и они не нужны.
Алгоритм:
Парсер открывает браузер, открывает главную страницу Pinterest, вводит логин и пароль, входит в аккаунт, берет первую ссылку из списка для парсинга и переходит по ней, например , эта ссылка условно является корневой папкой, парсер создает по указанному адресу для сохранения контента папку согласно никнему , в данном случае это будет папка «loadthepictures», далее парсер собирает все данные со страницы, собирая ссылки, в данном случае это 4 папки и 62 медиафайла (в числе которых не менее 8 видео), парсер создает четыре папки согласно их наименованию, далее парсер идет по этим папкам, сначала «Slipway», там так же собирает все медиафайлы и видит папку «Nice Slipway», создает ее в папке Slipway и скачивает в нее контент из этой папки, далее идет в Electrical projects собирает там все медиафайлы и если там есть другие папки, то создает папки согласно их названиям и соханят медиафайлы из них в эти папки, далее тоже самое с Tiny Houses, и аналогично с Automobiles tips.
Скачиваются изображения в оригинальном размере и в оригинальном формате, если это видео то видео, если картинка, то кртинка, если гиф то гиф.
Так же к каждой папке создается эксель документ который содержит ссылки на все пины в формате и если к этому пину исеется ссылка на источник, то напротив этой ссылки указывается ссылка на источник, в данном случае это , и текст, описание: Following are the 32 types of hammers: Ball Peen hammer, Sledgehammer, Claw hammer, Club hammer, Dead blow hammer, Tack hammer, Rubber mallet
и заголовок: 32 Different Types of Hammers and Their Uses [with Pictures]
Разделы:
Заказ
Опубликован:
07.04.2025 | 16:37 [поднят: 07.04.2025 | 16:37] [последние изменения: 09.04.2025 | 00:40]