Создание автоматизированного пайплайна для генерации и публикации видеоконтента

У меня есть свой текст, который я буду озвучивать.

Я загружаю текст в ИИ чтобы на основе него он сгенерировал изображения исходя из заданных мной условий.

Далее я загружаю озвученный текст.

Мне нужно чтобы скрипт собирал все и делал готовый результат на выходе примерно с таким алгоритмом.

1. Я загрузил текст в ИИ на основе которых генерируются промты для изображений или на выбор промты для генерации видеоряда в следующих ИИ
2. Он берет промт и сам отправляет его в ИИ для генерации изображения или видео, получаем видео.
3. Дальше он берет изображения или видео автоматически монтирует их делая переходы, накладывает фоновую музыку или звуковые эффекты загружает заранее подготовленную и записанный мной аудиофайл. Получается готовый короткий видео ролик для публикации
4. Он берет этот ролик и отправляет его сам автоматически на публикацию во все социальные сети, где предварительно ИИ генерирует хэштеги и названия для роликов

Задача:

Разработать автоматизированный скрипт (или набор скриптов), который позволит пользователю загружать текст, озвучку и автоматически получать готовый видеоролик для публикации в социальных сетях. Скрипт должен включать этапы генерации изображений/видеоряда, их обработки, наложения звуков и последующей публикации контента.

Функциональные требования:

1. Загрузка текста:
• Пользователь загружает текст, который будет использоваться для генерации изображения/видеоряда.
• На основе текста система автоматически создает промты для генерации изображений или видеоряда в следующих ИИ.
2. Генерация изображений или видеоряда:
• Система использует сгенерированные промты для отправки запросов в ИИ (например, DALL·E, MidJourney, Runway и др.).
• Полученные изображения или видео сохраняются локально или в облачном хранилище.
3. Монтаж:
• Система автоматически монтирует видеоряд:
• Соединяет изображения/видео с плавными переходами.
• Накладывает заранее загруженную озвучку.
• Добавляет фоновую музыку или звуковые эффекты (по умолчанию или из заранее подготовленного набора).
4. Публикация:
• Система автоматически генерирует название, описание и хэштеги для ролика на основе анализа текста и видео.
• Готовый видеоролик публикуется во все указанные социальные сети через API (например, TikTok, Instagram, YouTube, и т.д.).

Требования к реализации:

• Гибкость настроек: Возможность выбора между генерацией изображений или видеоряда, а также настройки переходов, длительности видео и фоновой музыки.
• Интеграция с ИИ: Использование API для взаимодействия с платформами генерации контента.
• Автоматизация:
• Обработка текста.
• Отправка запросов к ИИ.
• Монтаж видео.
• Публикация контента.
• Удобный интерфейс:
• Веб-приложение или интерфейс командной строки (на выбор) для управления процессом.
• Масштабируемость: Возможность добавления новых функций, ИИ-сервисов или социальных сетей.

Ожидаемый результат:

• Полностью автоматизированный процесс, в котором пользователь загружает текст и аудиофайл, а на выходе получает готовый видеоролик, опубликованный в социальных сетях.
• Минимизация ручного труда: система должна работать максимально автономно, включая генерацию контента, монтаж и публикацию.

Технические предпочтения:

• Язык программирования: Python.
• Фреймворки: FastAPI/Django для интерфейса, FFmpeg для обработки видео.
• Интеграция API: OpenAI (DALL·E/ChatGPT), TikTok/Instagram/YouTube API.
• Хранилище: Локальное или облачное (S3, Google Drive и др.).