EXPLAINABLE AI: НОВІ ПІДХОДИ ДО ІНТЕРПРЕТОВАНОСТІ ГЛИБОКИХ НЕЙРОННИХ МЕРЕЖ
DOI:
https://doi.org/10.35546/kntu2078-4481.2025.1.2.14Ключові слова:
прозорість моделей, довіра користувачів, механізми уваги, логічні алгоритми, етичні аспекти, адаптація алгоритмів, обчислювальні викликиАнотація
Актуальність дослідження зумовлена необхідністю підвищення інтерпретованості моделей глибокого навчання для забезпечення прозорості та довіри користувачів у критично важливих галузях, таких як медицина, фінанси та автономні системи. Незважаючи на високі результати, досягнуті за допомогою глибоких нейронних мереж, їхній «чорний ящик» залишається серйозною перешкодою для широкого застосування. Зростання регуляторних вимог і суспільного інтересу до етичності штучного інтелекту підкреслює необхідність розвитку пояснюваного штучного інтелекту.Метою дослідження є аналіз сучасних методів інтерпретованості глибоких нейронних мереж, визначення їхніх основних обмежень і розробка рекомендацій для підвищення ефективності застосування моделей у реальних умовах. У роботі застосовано системний підхід, який включає аналіз літературних джерел, порівняльний аналіз методів інтерпретації та оцінку їхньої ефективності у практичних задачах. Використано як теоретичні, так і емпіричні методи, що забезпечило всебічне висвітлення проблеми.Досліджено вплив інтерпретованості на довіру користувачів у таких сферах, як медицина, де пояснення рішень штучного інтелекту сприяє прийняттю діагностичних рішень, та фінанси, де прозорість сприяє зниженню конфліктів між клієнтами й організаціями. Виявлено, що модель-агностичні підходи (SHAP, LIME), механізми уваги та логічні правила є ключовими інструментами забезпечення інтерпретованості. Основними проблемами визначено високі обчислювальні витрати, складність адаптації пояснень до потреб нефахівців і ризики, пов’язані з конфіденційністю даних. Розроблено рекомендації, які включають інтеграцію гібридних методів інтерпретації, адаптацію моделей до специфіки галузей, впровадження систем моніторингу інтерпретованості та створення зрозумілих пояснень для кінцевих користувачів. Доведено, що такий підхід сприяє ефективному впровадженню моделей глибокого навчання у практичні системи, зберігаючи їхню точність. Перспективи подальших досліджень полягають у розробці нових інструментів інтерпретації, що враховують специфіку галузей, та створенні стандартів для оцінки якості пояснень.
Посилання
State information security as a challenge of information and computer technology development / K. Chyzhmar et al. Journal of Security and Sustainability Issues. 2020. P. 819–828. URL: https://doi.org/10.9770/jssi.2020.9.3(8) (date of access: 22.01.2025).
Samek W., Montavon G., Lapuschkin S., Anders C. J., Müller K.-R. Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications. Proceedings of the IEEE. 2021. Vol. 109, No. 3. P. 247–278. DOI: https://doi.org/ 10.1109/JPROC.2021.3060483. (date of access: 19.01.2025).
Adadi A., Berrada M. Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access. 2018. Vol. 6. P. 52138–52160. DOI: https://doi.org/ 10.1109/ACCESS.2018.2870052. (date of access: 19.01.2025).
Rudin C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence. 2019. Vol. 1. P. 206-215. DOI: https://doi.org/10.1038/s42256-019-0048-x. (date of access: 19.01.2025).
Arrieta A. B., Díaz-Rodríguez N., Del Ser J., Bennetot A., Tabik S., Barbado A., Garcia S., Gil-Lopez S., Molina D., Benjamins R., Chatila R., Herrera F. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion. 2020. Vol. 58. P. 82-115. DOI: https://doi.org/10.1016/ j.inffus.2019.12.012. (date of access: 19.01.2025).
Tjoa E., Guan C. A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI. IEEE Transactions on Neural Networks and Learning Systems. 2021. Vol. 32, No. 11. P. 4793–4813. DOI: https://doi.org/ 10.1109/ TNNLS.2020.3027314. (date of access: 19.01.2025).
Guidotti R., Monreale A., Ruggieri S., Turini F., Giannotti F., Pedreschi D. A Survey of Methods for Explaining Black Box Models. ACM Computing Surveys (CSUR). 2018. Vol. 51, No. 5. P. 1–42. DOI: https://doi.org/10.1145/3236009. (date of access: 19.01.2025).
Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Machine Learning Interpretability Methods. Entropy. 2020. Vol. 23, No. 1. P. 18. DOI: https://doi.org/10.3390/e23010018. (date of access: 19.01.2025).
Doshi-Velez F., Kim B. Towards a rigorous science of interpretable machine learning. arXiv preprint. 2017. arXiv:1702.08608. URL: https://arxiv.org/abs/1702.08608. (date of access: 19.01.2025).
Gilpin L. H., Bau D., Yuan B. Z., Bajwa A., Specter M., Kagal L. Explaining Explanations: An Overview of Interpretability of Machine Learning. 2018 IEEE 5th International Conference on Data Science and Advanced Analytics (DSAA). 2018. P. 80-89. DOI: https://doi.org/ 10.1109/DSAA.2018.00018. (date of access: 19.01.2025).
Saleem R., Yuan B., Kurugollu F., Anjum A., Liu L. Explaining Deep Neural Networks: A Survey on the Global Interpretation Methods. Neurocomputing. 2022. Vol. 513. P. 165-180. DOI: https://doi.org/10.1016/j.neucom.2022.09.129 (date of access: 19.01.2025).
Angelov P., Soares E. Towards Explainable Deep Neural Networks (xDNN). Neural Networks. 2020. Vol. 130. P. 185–194. DOI: https://doi.org/10.1016/j.neunet.2020.07.010 (date of access: 19.01.2025).
Samek W. Explainable Deep Learning: Concepts, Methods, and New Developments. In: Explainable Deep Learning AI. Academic Press. 2023. P. 7-33. DOI: https://doi.org/10.1016/B978-0-32-396098-4.00008-9 (date of access: 19.01.2025).
Zhang Y., Tiňo P., Leonardis A., Tang K. A Survey on Neural Network Interpretability. IEEE Transactions on Emerging Topics in Computational Intelligence. 2021. Vol. 5, No. 5. P. 726–742. DOI: https://doi.org/10.1109/ TETCI.2021.3100641 (date of access: 19.01.2025).
Richmond K. M., Muddamsetty S. M., Gammeltoft-Hansen T., et al. Explainable AI and Law: An Evidential Survey. Digital Society. 2024. Vol. 3, No. 1. DOI: https://doi.org/10.1007/s44206-023-00081-z (date of access: 19.01.2025).
