БЕЗПЕЧНЕ НАДІЙНІСНО-АДАПТИВНЕ ЗЛИТТЯ МОДАЛЬНОСТЕЙ ДЛЯ ПОТОКОВОГО ПРОГНОЗУВАННЯ МУЛЬТИМОДАЛЬНИХ ЧАСОВИХ РЯДІВ ЗА ТИМЧАСОВОЇ ДЕГРАДАЦІЇ ДАНИХ
DOI:
https://doi.org/10.35546/kntu2078-4481.2026.2.48Ключові слова:
машинне навчання, аналіз даних, інформаційні системи, системи підтримки прийняття рішень, мультимодальні часові ряди, потокове прогнозування, деградація даних, надійність модальності, динамічне злиття, clean gateАнотація
Потокові системи підтримки прийняття рішень працюють каузально та за обмежень малої латентності, тому мультимодальні часові ряди мають аналізуватися онлайн. У реальних конвеєрах окремі джерела даних тимчасово деградують (пропуски, підвищений шум, масштабні зсуви), через що статичні стратегії злиття стають нестійкими: деградована модальність продовжує впливати на прогноз, а будь-яке додаткове керування ризикує погіршити якість у сегментах без деградації. У статті розглянуто метод надійнісно-адаптивного динамічного злиття модальностей для потокового прогнозування, у якому онлайн-оцінки надійності модальностей використовуються як керувальний сигнал для перезважування внеску модальних предикторів зі згладжуванням, а безпечний «чистий режим» реалізовано через clean gate: у чистих вікнах вихід збігається з сильним базисом раннього злиття, що виключає регресію якості без деградацій. Ефективність оцінено в потоковому протоколі передпослідовного оцінювання (prequential) на контрольованих потоках із детерміновано заданими ін’єкціями деградацій та на реальних даних UCI Appliances Energy Prediction. Показано, що в clean-режимі метод узгоджується з базисом раннього злиття (MAE = 0,56 ± 0,13 , RMSE = 0,70 ± 0,17), у режимі чергування пропусків зменшує похибку (MAE = 0,64 ± 0,11 проти 0,68 ± 0,08 ), демонструє вищу робастність при «missing_ level» = 0,9 (MAE 0,64 проти 0,70 ) та на деградованих сегментах UCI Appliances досягає MAE = 63,69 ± 5,82 проти 381,91± 95,22 . Надійність модальності трактується як каузальна ймовірнісна оцінка її поточного недеградованого стану та використовується як керувальний інтерфейс для злиття в потоці. Отримані результати сформовано як частину цілісного онлайн-конвеєра, що задовольняє вимоги каузальності, малої латентності та обмежених обчислювальних ресурсів у потокових системах підтримки прийняття рішень. Латентність покрокового інференсу залишається мікросекундною (у середньому 10,07μs ), що робить підхід придатним для низьколатентних потокових конвеєрів.
Посилання
Baltrušaitis T., Ahuja C., Morency L.-P. Multimodal machine learning: A survey and taxonomy // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019. Vol. 41(2). P. 423–443. DOI: 10.1109/TPAMI.2018.2798607.
Lahat D., Adali T., Jutten C. Multimodal data fusion: an overview of methods, challenges, and prospects //Proceedings of the IEEE. 2015. Vol. 103(9). P. 1449–1477. DOI: 10.1109/JPROC.2015.2460697.
Dawid A. P. Present position and potential developments: Some personal views: Statistical theory: the prequential approach // Journal of the Royal Statistical Society. Series A (General). 1984. Vol. 147(2). P. 278–292. DOI:10.2307/2981683.
Hyndman R. J., Koehler A. B. Another look at measures of forecast accuracy // International Journal of Forecasting. 2006. Vol. 22(4). P. 679–688. DOI: 10.1016/j.ijforecast.2006.03.001.
Candanedo L. M., Feldheim V., Deramaix D. Data driven prediction models of energy use of appliances in a lowenergy house // Energy and Buildings. 2017. Vol. 140. P. 81–97. DOI: 10.1016/j.enbuild.2017.01.083.
UCI Machine Learning Repository. Appliances Energy Prediction. 2017. URL: https://archive.ics.uci.edu/dataset/374/appliances+energy+prediction.
Ramachandram D., Taylor G. W. Deep Multimodal Learning: A Survey on Recent Advances and Trends // IEEE Signal Processing Magazine. 2017. Vol. 34(6). P. 96–108. DOI: 10.1109/MSP.2017.2738401.
Jain R. The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling. Wiley-Interscience, 1991. URL: https://www.cse.wustl.edu/~jain/books/perfbook.htm.
Khaleghi B., Khamis A., Karray F. O., Razavi S. N. Multisensor data fusion: A review of the state-of-the-art //Information Fusion. 2013. Vol. 14(1). P. 28–44. DOI: 10.1016/j.inffus.2011.08.001.
Hall D. L., Llinas J. An introduction to multisensor data fusion // Proceedings of the IEEE. 1997. Vol. 85(1). P. 6–23. DOI: 10.1109/5.554205.
Atrey P. K., Hossain M. A., El Saddik A., Kankanhalli M. S. Multimodal fusion for multimedia analysis: a survey //Multimedia Systems. 2010. Vol. 16(6). P. 345–379. DOI: 10.1007/s00530-010-0182-0.
Jacobs R. A., Jordan M. I., Nowlan S. J., Hinton G. E. Adaptive mixtures of local experts // Neural Computation. 1991. Vol. 3(1). P. 79–87. DOI: 10.1162/neco.1991.3.1.79.
Kittler J., Hatef M., Duin R. P. W., Matas J. On combining classifiers // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. Vol. 20(3). P. 226–239. DOI: 10.1109/34.667881.
Shim J. P., Warkentin M., Courtney J. F., Power D. J., Sharda R., Carlsson C. Past, present, and future of decision support technology // Decision Support Systems. 2002. Vol. 33(2). P. 111–126. DOI: 10.1016/S0167-9236(01)00139-7.
Gama J., Žliobaitė I., Bifet A., Pechenizkiy M., Bouchachia A. A survey on concept drift adaptation // ACM
Computing Surveys. 2014. Vol. 46(4). P. 1–37. DOI: 10.1145/2523813. 16. Webb G. I., Hyde R., Cao H., Nguyen H.-L., Petitjean F. Characterizing concept drift // Data Mining and Knowledge Discovery. 2016. Vol. 30(4). P. 964–994. DOI: 10.1007/s10618-015-0448-4.
Che Z., Purushotham S., Cho K., Sontag D., Liu Y. Recurrent neural networks for multivariate time series with missing values // Scientific Reports. 2018. Vol. 8. Article 6085. DOI: 10.1038/s41598-018-24271-9.
Little R. J. A., Rubin D. B. Statistical Analysis with Missing Data. 2nd ed. Wiley, 2002. DOI: 10.1002/9781119013563.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
