РОЛЬ-ОРІЄНТОВАНЕ MULTI-AGENT REINFORCEMENT LEARNING ДЛЯ АВТОНОМНОГО РОЗПОДІЛУ ЗАДАЧ У ГЕТЕРОГЕННОМУ РОЇ БЕЗПІЛОТНИХ ЛІТАЛЬНИХ АПАРАТІВ

Анотація

У статті розглянуто проблему побудови адаптивних моделей керування гетерогенними роями безпілотних літальних апаратів (БпЛА), що діють у динамічних умовах із частковою спостережуваністю та обмеженими ресурсами. Традиційні підходи – статичний розподіл ролей, евристичні алгоритми чи однорівневі моделі підкріплювального навчання – часто не забезпечують достатньої гнучкості та стабільності в задачах, які потребують узгодженої взаємодії різнотипних агентів. Для подолання цих обмежень запропоновано роль-орієнтовану архітектуру multi-agent reinforcement learning (MARL), у якій поведінка кожного БпЛА описується двошаровою політикою: верхній рівень відповідає за вибір ролі, а нижній – за формування дії, що залежить від контексту місії та особливостей агента. Метою роботи є розроблення формальної моделі роль-орієнтованого MARL та проведення аналітичної оцінки її ефективності для автономного розподілу задач у гетерогенних роях БпЛА. У межах дослідження побудовано математичний опис політики ролей і дій, визначено функцію нагороди, що враховує кооперативні показники місії, та сформульовано оптимізаційну задачу навчання. Проведено теоретичне моделювання очікуваної поведінки рою у типових кооперативних сценаріях, що включають розвідку, пошук і рятування та доставку ресурсів. Аналітичне порівняння з базовими підходами показало, що рольова декомпозиція потенційно забезпечує кращу стабільність політики, вищу енергоефективність, адаптивний розподіл задач і зниження кількості конфліктних дій між агентами. Також визначено ключові метрики, за якими планується здійснити подальшу симуляційну перевірку: час виконання місії, покриття території, кількість успішних підзадач, стійкість до відмов та частота зміни ролей. Результати теоретичного аналізу підтверджують доцільність застосування роль-орієнтованих MARL- методів для керування гетерогенними роями, особливо в умовах високої невизначеності та складної структури місій. Запропонована модель формує підґрунтя для подальших програмних реалізацій та емпіричних досліджень у симуляційному середовищі.