Подключите нашего Telegram-бота для уведомлений о новых проектах

Заказ закрыт
C#, Парсинг Steam с использованием библиотеки SteamKit

Разместить заказ
a
Заказчик
Отзывы фрилансеров: + 3 - 0
Зарегистрирован на сайте 7 месяцев
Бюджет: 12 000 руб
145.37 $ — 128.78 €
Исполнитель определен: Дмитрий Александров  
Основная цель:
Автоматизированно собирать данные о PackageID через библиотеку SteamKit (github.com/SteamRE/SteamK..., используя асинхронные запросы, прокси и последующую запись информации в базу данных.

Основные требования к реализации:
* Получение ключевых полей:
    * AppID (числовое значение)
    * Название (name)
    * Тип (type)
    * allow_gifting (bool)
    * Список ограниченных стран (purchaserestrictedcountries)
* Работа с библиотекой SteamKit для реализации взаимодействия со Steam API.
* Возможность легко расширить или изменить перечень извлекаемых полей при необходимости.

Пример для тестирования:
store.steampowered.com/su...
Извлекаемая информация (в формате JSON) должна содержать поля:
* appid: 2322010
* name: God of War Ragnarök
* type: game
* allow_gifting: True
* purchaserestrictedcountries: Список стран в виде строки (например, "AF AX AL DZ ...")

Обеспечение асинхронного режима и пакетной обработки с использованием прокси
* Запросы к Steam API должны отправляться асинхронно.
* Предусмотреть механизм ограничения количества одновременных запросов (например по 200 запросов за раз).
* Эффективное использование прокси (например каждый запрос использует рандомный прокси из списка)
* Устойчивость к большому объёму обрабатываемых PackageID: приложение не должно “падать” или замедляться при значительном количестве ID.
* Логирование неудачных запросов и попыток переподключения с новым прокси

Обработка ошибок
* Предусмотреть  лог ошибок: недоступность Steam API, неправильные ответы, отсутствие packageid, время ожидания (timeout) и другие, в случае возникновения.
* Реализовать повторные попытки/ретраи при неудачных запросах (например, несколько раз по 1 секунде, если так и не получили ответа, то возвращать пустые ответы).

Взаимодействие с базой данных
* Получение списка packageID, которые необходимо обработать.
* Сохранение результатов парсинга в БД на SQL.

Тестирование
  – Проверить стабильность работы скрипта на 1000+ PackageID в БД

Доп. инфо:
gist.github.com/Js41637/3... (не проверялся, возможно готовый шаблон для парсинга, может упростить задачу)
Разделы:
Опубликован:
17.01.2025 | 18:34 [поднят: 17.01.2025 | 18:34]
Заказ находится в архиве

Теги: Специалисты по парсингу, недорого, FL.ru

Наши партнеры
Сведения об ООО «Ваан» внесены в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий. ООО «Ваан» осуществляет деятельность, связанную с использованием информационных технологий, по разработке компьютерного программного обеспечения, предоставлению доступа к программе для ЭВМ и является правообладателем программы для ЭВМ «Платформа FL.ru (версия 2.0)».