КАЛІБРУВАННЯ НЕВИЗНАЧЕНОСТІ В КОМП’ЮТЕРНОМУ ЗОРІ: ПОРІВНЯННЯ BNN, DEEP ENSEMBLES, MC DROPOUT ТА EVIDENTIAL DL
DOI:
https://doi.org/10.35546/kntu2078-4481.2025.3.2.11Ключові слова:
калібрування, невизначеність, баєсівські нейронні мережі, MC dropout, комп’ютерний зір, ECE, NLLАнотація
Стаття присвячена порівняльному аналізу сучасних методів калібрування невизначеності в задачах комп’ютерного зору. Проблема некаліброваності глибоких нейронних мереж стає критичною при застосуванні в системах з високою ціною помилки: медичній діагностиці, автономному водінні, промисловому контролі.Сучасні архітектури часто демонструють надмірну впевненість у неправильних прогнозах, що унеможливлює ефективне прийняття рішень. Досліджено чотири підходи: баєсівські нейронні мережі (BNN) з варіаційним висновком; глибокі ансамблі (Deep Ensembles), що агрегують прогнози незалежних моделей; Monte Carlo Dropout для апроксимації баєсівського висновку; Evidential Deep Learning з моделюванням розподілів Діріхле.Експерименти проводилися на CIFAR-10/100 для класифікації, CIFAR-10-C для оцінки стійкості, COCO val2017 для детекції об’єктів, Cityscapes val для сегментації. Всі методи тестувалися на ідентичних архітектурах: ResNet-50, WideResNet-28-10, Faster R-CNN, DeepLabV3+. Результати показують, що Deep Ensembles забезпечують найкращий баланс: покращення точності на 0.8–1.8 % при ECE < 2 %. Temperature scaling знижує Expected Calibration Error на 60–75 % без додаткових витрат, що робить його обов’язковим для продакшн систем. BNN демонструють найкращу OOD детекцію (AUROC 0.813), але поступаються за точністю на 0.5–1.2 %. MC Dropout має 20-кратне збільшення часу інференсу при помірному покращенні калібрування. Evidential DL показує нестабільність на OOD даних. Сформульовано практичні рекомендації: для критичних застосувань – ансамбль з 5 моделей з temperature scaling; для real-time систем – одна модель з калібруванням; для edge пристроїв – knowledge distillation від ансамблю. Оптимальна конфігурація: 3–5 моделей з temperature scaling забезпечує 90 % покращення при 3-5x збільшенні часу інференсу.
Посилання
Guo C., Pleiss G., Sun Y., Weinberger K. Q. On calibration of modern neural networks. 34th International Conference on Machine Learning. 2017. P. 1321–1330.
Blundell C., Cornebise J., Kavukcuoglu K., Wierstra D. Weight uncertainty in neural networks. 32nd International Conference on Machine Learning. 2015. P. 1613–1622.
Louizos C., Welling M. Multiplicative normalizing flows for variational Bayesian neural networks. 34th International Conference on Machine Learning. 2017. P. 2218–2227.
Wenzel F., Roth K., Veeling B. S., Światkowski J., Tran L., Mandt S. et al. How good is the Bayes posterior in deep neural networks really? Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 5833–5845.
Lakshminarayanan B., Pritzel A., Blundell C. Simple and scalable predictive uncertainty estimation using deep ensembles. Advances in Neural Information Processing Systems. 2017. Vol. 30. P. 6402–6413.
Fort S., Jastrzebski S. Deep ensembles: A loss landscape perspective. arXiv preprint arXiv:1912.11370. 2019.
Ovadia Y., Fertig E., Ren J., Nado Z., Sculley D., Nowozin S. et al. Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift. Advances in Neural Information Processing Systems. 2019. Vol. 32.
Gal Y., Ghahramani Z. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. 33rd International Conference on Machine Learning. 2016. P. 1050–1059.
Osband I. Risk versus uncertainty in deep learning: Bayes, bootstrap and the dangers of dropout. NIPS Workshop on Bayesian Deep Learning. 2016.
Mukhoti J., Gal Y. Evaluating uncertainty for object detection using Monte Carlo dropout. International Conference on Computer Vision: Workshop on Uncertainty and Robustness. 2018.
Sensoy M., Kaplan L., Kandemir M. Evidential deep learning to quantify classification uncertainty. The Journal of Machine Learning Research. 2018. Vol. 19. No. 1. P. 962–1009.
Amini A., Schwarting W., Soleimany A., Rus D. Deep evidential regression. Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 14927–14937.
Kopetzki A., Chen Y., Slesarev V. Rethinking evidential deep learning. arXiv preprint arXiv:2110.03687. 2021.
Kumar A., Liang P. S., Ma T. Verified uncertainty calibration. Advances in Neural Information Processing Systems. 2019. Vol. 32. P. 3787–3798.
Nixon J., Dusenberry M., Zhang L., Jerfel G., Tran D. Measuring calibration in deep learning. CVPR Workshops. 2019. P. 38–41.
Minderer M., Joslin D., Gleave A., Abeles A., Bachem O. Revisiting model calibration: Do confounding factors affect calibration metrics? arXiv preprint arXiv:2106.07998. 2021.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.






