ФОРМАЛЬНИЙ ОПИС ВЗАЄМОДІЇ ТА ПОТОКІВ ДАНИХ У МУЛЬТИМОДАЛЬНИХ АСИСТИВНИХ СИСТЕМАХ ДЛЯ ПІДТРИМКИ АВТОНОМНОСТІ КОРИСТУВАЧІВ

Автор(и)

DOI:

https://doi.org/10.35546/kntu2078-4481.2025.4.3.2

Ключові слова:

мультимодальні системи, асистивні технології, контекстно-залежна взаємодія, люди з інвалідністю, персоналізовані інтерфейси

Анотація

Зростаюча кількість людей з інвалідністю, особливо серед ветеранів війни, формує запит на технологічні рішення, здатні забезпечити підтримку у побутовій діяльності, мобільності, навчанні та доступі до інформації. У статті формалізовано потік мультимодальних даних у контекстно-залежних системах асистивної взаємодії для користувачів з особливими потребами. Описано повний цикл обробки даних – від моменту отримання вхідної інформації (включаючи голосові команди, візуальні сигнали, просторові параметри, фізіологічні індикатори) до формування адаптивної відповіді, що враховує поточний контекст: середовище, стан користувача, історію взаємодій. Основну увагу приділено синхронізації каналів та визначенню пріоритетів у випадку неповних або зашумлених даних. Розглянуто приклади контекстів (рух у просторі, запит на інформацію, виконання завдань), у яких система має адаптувати свій вихід – голосовий супровід, візуальні підказки, тактильний фідбек. Запропоновано функціональну модель, що описує етапи обробки: ідентифікація стану користувача, динамічне оновлення його ергономічного профілю, вибір найбільш релевантного сценарію взаємодії. Особливу увагу приділено технологічним обмеженням: залежності від якості сенсорних сигналів, впливу зовнішніх факторів (освітлення, шум, просторові бар’єри), обчислювальним вимогам та необхідності персоналізації під конкретного користувача. Запропонований опис може бути основою для подальшої розробки та впровадження в мультимодальні системи навігації, підтримки побутової незалежності, навчальних платформ та сервісів доступу до інформації для людей з інвалідністю.

Посилання

Cook, A. M., Polgar, J. M., & Encarnaзгo, P. Assistive technologies: Principles & practice. Elsevier. 2019.

Cowan, R. E., Fregly, B. J., Boninger, M. L., Chan, L., Rodgers, M. M., & Reinkensmeyer, D. J. Recent trends in assistive technology for mobility. Journal of neuroengineering and rehabilitation, 2012. 9(1), 20. https://doi.org/10.1186/1743-0003-9-20

Barkovska, O., Holovchenko, O., Storchai, D., Kostin, A., & Lehezin, N. Investigation of computer vision techniques for indoor navigation systems. Сучасний стан наукових досліджень та технологій в промисловості, 2025. (2(32), 5–15. https://doi.org/10.30837/2522-9818.2025.2.005

Serdechnyi, V., Barkovska, O., Kovalenko, A., Havrashenko, A., & Martovytskyi, V. Research on machine learning methods for detecting objects in difficult shooting conditions. Radioelectronic and Computer Systems, 2025, (2), 64-77. https://doi.org/10.32620/reks.2025.2.04

McNicholl, A., Casey, H., Desmond, D., & Gallagher, P. The impact of assistive technology use for students with disabilities in higher education: a systematic review. Disability and rehabilitation: assistive Technology, 2021. 16(2), 130-143. https://doi.org/10.1080/17483107.2019.1642395

Barkovska, O., Ruban, I., Tymoshenko, D., Holovchenko, O., & Yankovskyi, O. Research on mobile machine learning platforms for human gesture recognition in human-machine interaction systems. Technology Audit and Production Reserves, 2025. 2(82), 6–14. https://doi.org/10.15587/2706-5448.2025.325423

Barkovska, O., Shapiro, A., Mavrynskyi, O., & Zhebin, P. Research on the sensitivity of the distance measurement method based on the facemesh algorithm. Системи управління, навігації та зв'язку, 2025. 2(80), 76-82. https://doi.org/10.26906/SUNZ.2025.2.076

##submission.downloads##

Опубліковано

2025-12-31