ПІДВИЩЕННЯ ВИЯВЛЕННЯ НЕБЕЗПЕЧНИХ ОБ’ЄКТІВ НА ОСНОВІ ВИКОРИСТАННЯ ПРОМІЖНОГО ЗЛИТТЯ МУЛЬТИМОДАЛЬНИХ ДАНИХ
DOI:
https://doi.org/10.32782/mathematical-modelling/2025-8-1-27Ключові слова:
злиття мультимодальних сенсорних даних, виявлення об’єктів, автономні системи, LiDAR, тепловізор, механізм уваги, критичністьАнотація
Надійне виявлення небезпечних об’єктів є критично важливим компонентом у багатьох сферах, зокрема в автономному транспорті, промисловій безпеці, моніторингових системах і робототехніці. У реальних умовах – за поганого освітлення, у складних погодних умовах, за часткового перекриття об’єктів або візуального шуму – системи, які базуються на одному типі сенсора, часто демонструють нестабільну роботу або хибні спрацьовування. З метою подолання цих обмежень у роботі запропоновано підхід, що базується на злитті мультимодальних даних із використанням механізмів уваги й оцінки критичності.Запропонована система об’єднує інформацію з RGB-камери, LiDAR, тепловізора та (опційно) тактильних сенсорів, що дозволяє формувати цілісну картину навколишнього середовища. Кожен сенсорний потік проходить через власний енкодер ознак, після чого активується механізм уваги, який зважує вклад кожного джерела даних залежно від ситуації. Об’єднаний вектор ознак проходить через детектор, що формує ймовірність присутності об’єкта, а паралельно функціонує модуль оцінювання критичності, який аналізує просторову відстань, швидкість і орієнтацію виявленого об’єкта.На основі зваженої комбінації обох оцінок – детекції та критичності – формується остаточне рішення про наявність загрози. Якщо комбіноване значення перевищує встановлений поріг, система спрацьовує: генерує тривогу, активує аварійне гальмування або передає сигнал оператору. У статті також наводиться гіпотетичний сценарій автономного водіння, у якому детально демонструється ефективність запропонованої архітектури за виявленні пішохода в умовах обмеженої видимості.Система демонструє високу точність, гнучкість і адаптивність до змін середовища. Її перевагами є збереження просторових і семантичних ознак, можливість аналізу об’єктів у різних спектральних діапазонах, а також пріоритет загроз залежно від ступеня небезпеки. У перспективі дана архітектура може стати основою для реалізації безпечних автономних рішень у транспорті, промисловості та міській інфраструктурі.
Посилання
Arya C., Tripathi A., Singh P., Diwakar M., Sharma K., Pandey H. Object detection using deep learning: a review. Journal of Physics: Conference Series. 2021. Vol. 1854, № 1. Article 012012. DOI: 10.1088/1742-6596/1854/1/012012.
Zhao F., Zhang C., Geng B. Deep Multimodal Data Fusion. ACM Computing Surveys. 2024. Vol. 56, № 9. Article 216. DOI: 10.1145/3649447.
Fedorenko H., Fesenko H., Kharchenko V. Analysis of methods and development of a concept for guaranteed detection and recognition of explosive objects. Innovative Technologies and Scientific Solutions for Industries. 2022. № 4 (22). P. 20–31.
Щур Г. Інтелектуальна система керування роботом-сапером у віртуальному середовищі. Вісник Хмельницького національного університету. 2024. № 3 (1). P. 326–329. DOI: 10.31891/2307-5732-2024-335-3-43.
Dumyn I., Basystiuk O., Dumyn A. Graph-based approaches for multimodal medical data processing. 2023.
Thompson D.J. Maritime Object Detection, Tracking, and Classification Using LiDAR and Vision-Based Sensor Fusion. 2017. [Technical report].
Vadidar M., Kariminezhad A., Mayr C., Kloeker L., Eckstein L. Robust Environment Perception for Automated Driving: A Unified Learning Pipeline for Visual-Infrared Object Detection. Proceedings of the IEEE Intelligent Vehicles Symposium (IV). 2022. P. 367–374.
Bhown A. Improving Long-Range 3D Object Detection Methods for Autonomous Box Trucks Using Sensor Fusion. 2022. [Preprint].
Alsubaei F.S., Al-Wesabi F.N., Hilal A.M. Deep Learning-Based Small Object Detection and Classification Model for Garbage Waste Management in Smart Cities and IoT Environment. 2022. [Preprint].
Ceccarelli A., Montecchi L. Evaluating Object (mis)Detection from a Safety and Reliability Perspective: Discussion and Measures. IEEE Access. 2023. Vol. 11. P. 44952–44963.
Tabrik S., Behroozi M., Schlaffke L., Heba S., Lenz M., Lissek S., Güntürkün O., Dinse H.R., Tegenthoff M. Visual and Tactile Sensory Systems Share Common Features in Object Recognition. eNeuro. 2021. Vol. 8, № 5. DOI: 10.1523/ENEURO.0261-21.2021.
Rouhafzay G., Cretu A.-M. An Application of Deep Learning to Tactile Data for Object Recognition under Visual Guidance. Sensors. 2019. Vol. 19, № 7. Article 1534. DOI: 10.3390/ s19071534.
Ahmad J., Del Bue A. mmFUSION: Multimodal Fusion for 3D Objects Detection. arXiv preprint arXiv:2311.04058. 2023. URL: https://arxiv.org/abs/2311.04058.
Önal O., Dandıl E. Unsafe-Net: YOLO v4 and ConvLSTM Based Computer Vision System for Real-Time Detection of Unsafe Behaviours in Workplace. Multimedia Tools and Applications. 2024. P. 1–27.
Danso S.A., Shang L., Hu D., Odoom J., Liu Q., Nyarko B. Hidden Dangerous Object Recognition in Terahertz Images Using Deep Learning Methods. Applied Sciences. 2022. Vol. 12, № 15. Article 7354.
