Переводчик в реальном времени на TensorRT-LLM и Triton: Портфолио фрилансера Антон Борисенко 24.06.2024, работа №1 - FL.RU
Антон Борисенко
Фрилансер готов решать задачи повышенной сложности и работать с крупными проектами.
Стоимость указана, чтобы вам было проще оценить примерные расходы на решение вашей задачи. Окончательную цену фрилансер сможет сообщить в личной беседе после уточнения деталей.
Похожая работа будет стоить
150 000 rub

Примерный срок выполнения

30 дней

Инструменты и навыки
нейронные сети ИИ Английский язык Перевод аудио оптимизация nvidia nvidia cuda cuda tensorrt
К списку работ
Антон Борисенко
Антон Борисенко

Переводчик в реальном времени на TensorRT-LLM и Triton

imageimage
Реализовано ПО для перевода речи в реальном времени - с английского языка на русский и с русского языка на английский. Приложение разворачивается как на API сервисах, так и полностью на локальных GPU мощностях. В качестве транскрибатора используется Whisper, конвертированный в формат TensorRT и оптимизированный для параллельных вычислений. В качестве синтезатора используется XTTS v2. Обе нейронные сети разворачиваются на Triton-сервере. Использовать приложение можно на любом компьютере с помощью программ-клиентов. Задержка до получения переведённой синтезированной речи варьируется от 1.5 до 4 секунд. Таким образом, в данном приложении используется самая быстрая транскрибация, которая существует на данный момент, а локальный синтезатор не многим уступает таким API-сервисам как elevelabs.