Мне нужно сделать скрипт-сервис (бот) по парсингу каналов в телеграме, с одной отчетной таблицей.
Кратко. Сервис должен уметь.
1) Раз в час собирать статистику по количеству подписчиков на каналы в Телеграмм.
2) Собирать последние посты из них каналов. Тоже раз в час.
3) Собирать небольшой отчет из этих данных.
Каналов для анализа и сбора – 7-8 тысяч.
Подробнее:
Что нужно. Допустим, есть канал в телеграме МДК, который размещает рекламный пост и рекламирует канал "Вася и друзья". Скрипт, за счет сбора статистики по количеству подписчиков каналов раз в час определяет, сколько человек подписалось на канал "Вася и друзья" с этого поста на канале МДК.
По-сути, это два краулера. Один раз в час делает сбор статистики по количеству подписчиков во всех каналах. Второй – находит рекламные посты в каналах.
И затем сопоставляются два события. На канале А в 10.00 вышла реклама канала Б. На канале Б с 10.00 за 18 часов количество подписчиков выросло на 200 человек.
Вот на выходе и нужен такой отчет. На канале таком-то вышла реклама такая-то. Она принесла каналу столько-то новых подписчиков.
Технические требования.
Все должно работать максимально автономно. Краулеры (боты) крутиться и перезапускаться самостоятельно. Вести лог событий, давать отчет за последние 24 часа, чтобы было понятно, что программа работает и работает корректно.
Финальный отчет – формируется раз в сутки. На выходе – таблица со всеми столбцами из тех.задания, которую можно будет загрузить по прямому url для встраивания в excel.
Подробно ТЗ вот тут:
Количество каналов, которые нужно будет анализировать – около 7-8 тысяч. Так что много. Возможно нужна будет многопоточность и асинхронность краулеров.
Язык программирования – любой подходящий, желательно использование фреймворков для быстрой разработки и простенькой админки.
В ответе пишите, сколько времени займет разработка? Сколько будет стоить? Какой стек технологий будете использовать?