Разработка системы помощи водителю в симуляторе CARLA с Python API

Тема: "Разработка Системы Помощи Водителю В Сложных Условиях"

Выполняется в симуляторе CARLA 0.9.14. Если есть другие предложения – можем обсудить.

Основные функции: интерфейс-мультимедиа, зеркала, контроль слепых зон, экстренное торможение, адаптивный круиз контроль, удержание в полосе.
Автоматическая парковка является не такой обязательной функцией, как предыдущие, но было бы очень здорово, если получится её реализовать! 

Интерфейс-Мультимедиа. 
Нужно ко всей системе добавить интерфейс в отдельном окне. Интерфейс должен быть аналогом мультимедийной системы в автомобиле. Все функции в симуляторе активируются через запуск скриптов в терминале, а в интерфейсе были бы кнопки для включения и отключения функций, что упростит использование системы. Если функция активна – кнопка горит, иначе – нет. 
В режиме автоматической парковки или просто при включении задней передачи автоматически следует выводить все камеры, чтобы получить аналог кругового обзора. Также полезно будет добавить отдельную кнопку для отображения всех камер вне зависимости от передачи.

Зеркала.
Для лучшего представления работы функции контроля слепых зон следует вывести вид в зеркалах (левое и правое) в отдельном окне. При обнаружении помехи на них должна мигать соответствующая картинка (например, восклицательный знак).

Подробнее про функции:
1. Слепые зоны. Предполагается, что на зеркала автомобиля будут установлены светодиоды. и если в слепой зоне автомобиля появляется помеха – датчики загораются. Уведомление о помехе следует отобразить на зеркалах и так же записать в терминал где (с какой стороны) и в какое время была помеха. Дополнительно следует сохранить несколько фото с камер при обнаружении помехи.
2. Экстренное торможение. При появлении перед автомобилем некоторого препятствия или при резкой остановке впереди идущего автомобиля, если при этом водитель не реагирует, то применяется экстренное торможение. Так же в терминал фиксируется время экстренного торможения и сохраняются несколько фото с камер.
3. Адаптивный круиз контроль. При активации данной функции модель должна двигаться со скоростью транспортного потока. Максимальная скорость устанавливается через интерфейс – быстрее нее машина ехать не может, если поток замедляется, то машина замедляется вместе с ним, сохраняя дистанцию.
4. Удержание в полосе. При активации функции автомобиль должен стараться оставаться в своей полосе. Если на дороге нет полос, то автомобиль должен корректно на это реагировать (в идеале ждать пока появятся полосы и ориентироваться по ним, либо же просто отключать функцию)
5. Автоматическая парковка. Для активации этой функции автомобиль должен полностью остановиться, активировать соответствующую функцию через интерфейс и по возможности припарковаться (как параллельно, так и "в бокс"). То есть предполагается, что должна проанализироваться инфомрация с датчиков и камер, определяется сможет ли автомобиль припарковаться в соответствующем месте (для достоверности это место нужно показать в интерфейсе, куда именно собирается парковаться автомобиль) и после соглашения водителя авто самостоятельно должно произвести парковку. Полагаю, этот пункт может потребовать очень много времени на выполнение, поэтому он не так приоритетен, как предидущие. 

Должна быть возможность включить и выключить каждую функцию отдельно, независимо друг от друга.
Функции должны корректно работать везде, а не на конкретном участке дороги. 

Тесты.
Все функции нужно протестировать на разных картах (они есть в симуляторе), в разных условиях, чтобы убедиться, что всё срабатывает должным образом.
Слепые зоны, экстренное торможение, адаптивнй круиз, удержание в полосе следует проверить как на шоссе, так и в городе с разной плотностью потока.
Тесты есть смысл выполнять в "ручном" режиме вождения, в симуляторе есть встроенный автопилот, на него внимания не обращаем.

Был выбран симулятор CARLA 0.9.14, так как он работает с Windows. Версия 0.9.15 не запускается на моей системе, поэтому следует использовать версию 0.9.14 или ниже, если это необходимо.
Насколько я понимаю, все функции реализуются через API. Документация: carla.readthedocs.io/en/l...
Так же достаточно много обсуждений на GitHub: github.com/carla-simulato...

В симуляторе предполагается выполнение всех задач на модели Nissan Patrol 2021. 
Но! Нашёл одно видео и так же видел в документации (carla.readthedocs.io/en/l..., что можно добавлять свои модели. Есть модель в формате fbx (её предстоит раскрасить/наложить текстуру), если получится использовать ее в симуляторе, было бы здорово!

При необходимости готов дополнительно обсудить технические, программные или системные аспекты.