МЕТОДИ НАВЧАННЯ З ПІДКРІПЛЕННЯМ БЕЗПІЛОТНИХ ЛІТАЛЬНИХ АПАРАТІВ У ЗАВДАННЯХ ВІЙСЬКОВОЇ ЛОГІСТИКИ

Анотація

У статті проведено розгорнутий огляд сучасних методів навчання з підкріпленням (Reinforcement Learning, RL) та їхнього застосування у сфері військової логістики із використанням безпілотних літальних апаратів (БпЛА). Актуальність теми зумовлена зростанням ролі БпЛА у забезпеченні оперативного транспортування вантажів, розвідки та підтримки бойових підрозділів, особливо в умовах обмеженого часу та високого рівня ризику. Проаналізовано ключові наукові роботи, що демонструють ефективність RL у завданнях планування маршруту, координації груп дронів (multi-agent RL, MARL), управління ресурсами та енергоспоживанням, а також у контексті врахування невизначеностей і ризиків (risk-sensitive RL, CVaR). Особливу увагу приділено підходам, які дозволяють формалізувати логістичні задачі як марковські процеси прийняття рішень із обмеженнями (CMDP), застосуванню механізмів уваги та графових нейронних мереж для оптимізації маршрутів, а також технологіям центрального навчання з децентралізованим виконанням (CTDE), що забезпечують ефективну взаємодію кількох БпЛА в реальному часі. Наведено математичні моделі та формули, що описують процес оптимізації політики керування, енергетичні обмеження та алгоритмічні модифікації, спрямовані на підвищення безпеки й надійності виконання завдань. Огляд містить аналіз підходів до інтеграції RL-рішень із системами моніторингу й контролю, а також описує сучасні виклики, серед яких є проблема перенесення навчених політик із симуляторів у реальні умови (sim-to-real), обмеженість обчислювальних ресурсів на борту БпЛА та необхідність стійкості до втрати зв’язку. Результати роботи можуть бути використані для побудови ефективних логістичних платформ, що здатні до автономної адаптації в умовах динамічних і небезпечних середовищ.