Настроить рабочее окружение с llama.cpp и GPU (2x RTX 3090 Ti) в Docker с корректным подбором версий

Есть проект, где используется llama.cpp с CUDA-поддержкой и запускается в Docker. Нужно настроить стабильную сборку, работающую на двух GPU (2×RTX 3090 Ti), но возникает постоянная несовместимость между:

Версией CUDA в Docker-образе

Версией драйверов NVIDIA на хост-машине

Версией PyTorch (если используется)

Версией llama.cpp

Поддержкой nvidia-docker / nvidia-container-toolkit

Любая несовместимость — и проект не работает. Уже было несколько пересборок, скачаны образы с CUDA 12.4, потом откат на 12.2, но всё крашится или не видит GPU.

Что нужно сделать
Настроить окружение в Docker, чтобы llama.cpp (или llama-cpp-python) стабильно работал с CUDA и двумя GPU.

Подобрать и зафиксировать корректные версии:

CUDA (в образе)

NVIDIA-драйверов на хосте

nvidia-container-toolkit

llama.cpp (или llama-cpp-python)

PyTorch (если используется)

Проверить, что обе видеокарты корректно используются моделью.

Опционально: оптимизировать Dockerfile, чтобы не тратить кучу времени на пересборки.

Посмотреть, куда уходит диск: сервер с SSD 1 ТБ, но после 50–100 ГБ контейнеров уже вылезает ошибка «нет места». После docker system prune -af освободилось 45 ГБ, но куда деваются остальные ~900 ГБ — непонятно. Нужно разобраться, что жрёт диск и как это чистить/контролировать.

Техническая информация
GPU: 2×RTX 3090 Ti, драйверы ~550+

CUDA в образах: 12.2 и 12.4 пробовались

llama.cpp собран с поддержкой CUDA (через llama-cpp-python)

Используется Docker + docker-compose

Хост: Ubuntu, 1 TB SSD, 128 GB RAM

Формат помощи
Желательно:

Провести аудит окружения

Помочь руками или дать точный гайд по настройке (Dockerfile, docker-compose, сборка llama.cpp с CUDA)

Объяснить проблему с диском (куда уходит место)