Подключите нашего Telegram-бота для уведомлений о новых проектах
Спарсить данные из vk
Разместить заказ
k
Заказчик
Отзывы фрилансеров:
+ 0
- 0
Зарегистрирован на сайте меньше месяца
Бюджет:
по договоренности
Исполнитель определен:
Вячеслав Даниловский
Сделать код на python для сбора данных с vk.com и скачать и сохранить сырые данные на диск и разобранные в БД по списку ссылок (всего около 3000 ссылок) . Ссылки выглядят примерно так:
https://[m.]vk.com/wall-123456789_987654321
https://[m.]vk.com/clip123456789_987654321
Нужно собрать данные в БД (sqlite, структуру БД я пришлю позже):
- url, по которому собираются данные
- имя пользователя
- профиль пользователя
- метрики профиля пользователя (друзья, подписчики и т.д.)
- дата/время публикации
- фотографии/видео (сохранить в каталог media)
- текст описания
- количество просмотров/лайков/реакций/комментариев на публикации
- текст комментариев
- тип публикации
- имена пользователей, поставивших лайки, оставивших комментарии
- другие доступные метрики
- статус публикации (скачался/не скачался/удален с VK)
Этапы работы скрипта:
1. Скачиваются и сохраняются данные, соответствующие url по списку (фото/видео сохраняются в каталог media, страницы, которые отдает сервер в каталог responses). Скрипт должен понимать, что скачивание прервалось и уметь докачивать то, что не докачалось. Так же нужен текстовый лог errors.log, если что-то не скачалось из-за ошибок или пост уже удален
2. После того, сохранение завершено, парсятся сохраненные результаты и затем складываются в БД (с указанием на то, из каких файлов они были получены)
Результат работ:
1. zip архивы с неразобранными данными (media.zip, responces.zip)
2. Файл vk.sqlite с распарсенными данными
3. Файлы с исходнимами скрипта, errors.log, логин/пароль от аккаунта, если скрипт работает через API.
=======================================================================
ВАЖНО: Предоплат нет. Оплачивается только полностью выполненная работа со всеми правами. Возможна безопасная сделка.
ВАЖНО: Сразу указывайте цену и срок. Предложения типа «Обращайтесь, договоримся» не рассматриваются и означают, что вы не читали описание проекта!
=======================================================================
https://[m.]vk.com/wall-123456789_987654321
https://[m.]vk.com/clip123456789_987654321
Нужно собрать данные в БД (sqlite, структуру БД я пришлю позже):
- url, по которому собираются данные
- имя пользователя
- профиль пользователя
- метрики профиля пользователя (друзья, подписчики и т.д.)
- дата/время публикации
- фотографии/видео (сохранить в каталог media)
- текст описания
- количество просмотров/лайков/реакций/комментариев на публикации
- текст комментариев
- тип публикации
- имена пользователей, поставивших лайки, оставивших комментарии
- другие доступные метрики
- статус публикации (скачался/не скачался/удален с VK)
Этапы работы скрипта:
1. Скачиваются и сохраняются данные, соответствующие url по списку (фото/видео сохраняются в каталог media, страницы, которые отдает сервер в каталог responses). Скрипт должен понимать, что скачивание прервалось и уметь докачивать то, что не докачалось. Так же нужен текстовый лог errors.log, если что-то не скачалось из-за ошибок или пост уже удален
2. После того, сохранение завершено, парсятся сохраненные результаты и затем складываются в БД (с указанием на то, из каких файлов они были получены)
Результат работ:
1. zip архивы с неразобранными данными (media.zip, responces.zip)
2. Файл vk.sqlite с распарсенными данными
3. Файлы с исходнимами скрипта, errors.log, логин/пароль от аккаунта, если скрипт работает через API.
=======================================================================
ВАЖНО: Предоплат нет. Оплачивается только полностью выполненная работа со всеми правами. Возможна безопасная сделка.
ВАЖНО: Сразу указывайте цену и срок. Предложения типа «Обращайтесь, договоримся» не рассматриваются и означают, что вы не читали описание проекта!
=======================================================================
Разделы:
Опубликован:
04.04.2025 | 09:14 [последние изменения: 04.04.2025 | 16:55]