АГЕНТНА МОДЕЛЬ ПЕРСОНАЛІЗОВАНОГО НАВЧАННЯ В NETLOGO З ВИКОРИСТАННЯМ Q-LEARNING
DOI:
https://doi.org/10.32782/mathematical-modelling/2025-8-1-1Ключові слова:
агентне моделювання, підсилене навчання, Q-learning, персоналізоване навчання, стиль навчання, інтелектуальна навчальна система, NetLogoАнотація
У роботі досліджено ефективність застосування алгоритму підсиленого навчання Q-learning у контексті персоналізованого навчання студентів шляхом створення агентної моделі в середовищі моделювання NetLogo. Запропонована модель передбачає існування множини агентів-студентів, кожен із яких має індивідуальні характеристики, зокрема стиль навчання (візуальний, аудіальний або кінестетичний). Навчальне середовище представлено як сітка патчів, кожен із яких містить навчальний контент визначеного типу (текстовий, відео- або аудіоматеріал) і рівня складності.Агенти взаємодіють із середовищем, ухвалюють рішення про залишення на поточному місці або перехід до іншої ділянки на основі ε-жадібної стратегії вибору дій. Алгоритм Q-learning дозволяє кожному агенту формувати й оновлювати власну Q-таблицю, що зберігає оцінки корисності дій у різних станах. Винагорода визначається на основі відповідності між стилем навчання агента та типом контенту. Якщо стиль збігається з форматом навчального матеріалу (наприклад, аудіальний стиль і аудіоконтент), агент отримує позитивну винагороду; інакше – негативну. Результати серії симуляцій засвідчили, що агенти поступово навчаються уникати невідповідного контенту та віддають перевагу ділянкам, що відповідають їхньому стилю сприйняття. Спостерігалося зростання середньої винагороди, збільшення частки агентів із позитивним результатом, а також зменшення частоти випадкових переміщень із часом. Це свідчить про формування стабільної політики навчання та ефективну адаптацію до умов середовища. Окрім того, було проаналізовано вплив параметрів Q-learning (ε, α, γ) на успішність навчання, що дозволило визначити оптимальні конфігурації для досягнення найкращих результатів.Отримані результати підтверджують доцільність використання підходу підсиленого навчання для моделювання персоналізованих освітніх стратегій. Запропонована модель може бути використана як основа для розроблення інтелектуальних систем підтримки навчання, здатних адаптувати освітній процес до індивідуальних потреб і особливостей учнів.
Посилання
Bazzanella E., Santos F. Does a Q-learning NetLogo Extension Simplify the Development of gent-based Simulations? Proceedings of the 15th Workshop-School on Agents, Environments, and Applications (WESAAC 2021), Porto Alegre, 2021. P. 1–12. https://doi.org/10.5753/wesaac.2021.33403.
Bazzanella E., Barros M.M., Santos F. Refactoring the NetLogo Reinforcement Learning Extension for Integration with the BURLAP Library. Proceedings of the 18th Workshop-School on Agents, Environments, and Applications (WESAAC 2024). Porto Alegre, 2024. P. 51–62. https://doi.org/10.5753/wesaac.2024.33455.
Amzil I., Aammou S., Tagdimi Z., Erradi H. Personalizing Learning Experiences with Q-Learning in Adaptive Educational Systems E-Learning and Smart Engineering Systems (ELSES 2023). Atlantis Press, 2023. P. 70–77. DOI: 10.2991/978-94-6463-360-3_9.
Dahan A., Roth N., Pelosi A.D., Reiner M. A Reinforcement Learning Framework for Personalized Adaptive E-Learning. Advanced Technologies and the University of the Future. Lecture Notes in Networks and Systems. Springer, Cham. 2024. Vol. 1140. P. 141–162. https://doi.org/10.1007/978-3-031-71530-3_10.
Mon B.F., Wasfi A., Hayajneh M., Slim A., Abu Ali N. Reinforcement Learning in Education: A Literature Review. Informatics. 2023. Vol. 10 (3). P. 74. https://doi.org/10.3390/ informatics10030074.
Alharbi K., Cristea A.I., Shi L., Tymms P., Brown C. Agent-Based Simulation of the Classroom Environment to Gauge the Effect of Inattentive or Disruptive Students. Intelligent Tutoring Systems (ITS 2021). Lecture Notes in Computer Science, Vol. 12677. Springer, Cham. 2021. P. 211–223. https://doi.org/10.1007/978-3-030-80421-3_23.
Alharbi K., Cristea A.I. Hybrid Agent-Based Machine Learning Simulation of a Classroom Disruption Model Proceeding of the 38th ECMS conference, editors: Daniel Grzonka, Natalia Rylko, Grazyna Suchacka, Vladimir Mityushev. 2024. Vol. 38. № 1. P. 125–132.
Govea J., Maldonado Navarro A., Sánchez-Viteri S., Villegas-Ch. W. Implementation of Deep Reinforcement Learning Models for Emotion Detection and Personalization of Learning in Hybrid Educational Environments. Front. Artif. Intell. 2024. Vol. 7. P. 1458230. https://doi.org/10.3389/frai.2024.1458230.
Osakwe I., Chen G., Fan Y., Rakovic M., Li X., Singh S., Molenaar I., Bannert M., Gašević D. Reinforcement Learning for Automatic Detection of Effective Strategies for Self-Regulated Learning. Computers and Education: Artificial Intelligence. 2023. Vol. 5. P. 100181. https://doi.org/10.1016/j.caeai.2023.100181.
Axak N., Tatarnykov A., Kushnaryov M. Agent-based method of improving the efficiency of the e-learning. Proceedings of the 12th International Scientific and Practical Conference Information Control Systems and Technologies, ICST 2024. Vol. 3790. P. 63–75. URL: http://www.scopus.com/inward/record.url?eid=2-s2.0-85207827452&partnerID=MN8TOARS.
