Генерація синтетичних даних для задач комп’ютерного зору в SITL-системах на основі Unreal Engine та Airsim

Анотація

Вступ. Розвиток автономних робототехнічних систем напряму залежить від ефективності модулів сприйняття, які забезпечують виявлення, класифікацію та супровід об’єктів у реальному часі. Проте збирання та розмітка великих об сягів реальних даних є тривалим, дороговартісним процесом і рідко охоплює рідкісні або небезпечні сценарії. Це створює потребу у використанні синтетичних даних, отриманих у високодеталізованих і високоякісних віртуальних середовищах, які дають змогу відтворювати різноманітні умови та автоматизувати процес анотування.

Метою роботи є розроблення та апробація інтегрованого програмного контуру Software-in-the-Loop (SITL), що поєднує генерацію синтетичних даних в Unreal Engine + AirSim, тренування моделей глибинного навчання (YOLOv8) та перевірку їх ефективності у задачах виявлення та супроводу об’єктів, а також перевірку працездатності в системі планування траєкторій.

Методи. У дослідженні застосовано побудову фотореалістичних віртуальних сцен в Unreal Engine із використанням бібліотек 3D-об’єктів та процедурних сценаріїв; генерацію синтетичних RGB-зображень, карт глибини та сегментаційних масок через AirSim; автоматизовану анотацію об’єктів; тренування моделей YOLOv8 на синтетичних наборах даних; оцінювання продуктивності на синтетичних і реальних даних; інтеграцію perception-модуля, bird’s-eye view візуалізації та 3D-планування у SITL-середовищі.

Результати. Запропонований підхід забезпечив створення масштабовано го набору даних з різними класами об’єктів та умовами освітлення, оклюзіями і фоновими ускладненнями; успішне тренування моделей YOLOv8 виключно на синтетичних даних; отримання високої точності на реальних тестах; інтеграцію perception і path planning у єдиній SITL-системі з можливістю подальшого переходу до Hardware-in-the-Loop.

Висновки. Результати роботи свідчать про те, що синтетичні дані є ефективним інструментом для підготовки моделей комп’ютерного зору в робототехнічних системах. Використання Unreal Engine та AirSim у складі SITL-контуру дає змогу зменшити витрати на збирання та розмітку реальних даних, забезпечити відтворюваність експериментів і покращити генералізацію моделей на реальних сценаріях. Подальші дослідження призначені зменшити розрив між синтетичними та реальними даними, розширити класи об’єктів і застосування багатосенсорних стратегій.