СИСТЕМА ПРИЙНЯТТЯ РІШЕНЬ З ВИКОРИСТАННЯМ НАВЧАННЯ З ПІДКРІПЛЕННЯМ ДЛЯ КЕРУВАННЯ ГЕТЕРОГЕННИМИ РОЯМИ БПЛА
DOI:
https://doi.org/10.35546/kntu2078-4481.2023.4.25Ключові слова:
рій БПЛА, гетерогенний рій, навчання з підкріпленням, система прийняття рішень, гетерогенний рій БПЛА.Анотація
У статті досліджується, як штучний інтелект і автоматизація суттєво впливають на безпілотні літальні апарати (БПЛА), переходячи від традиційних ролей до універсальних застосувань. У статті вирішується проблема оптимізації складу рою БПЛА для ефективного виконання завдань, пропонуючи систему прийняття рішень, яка інтегрує нейронні мережі та навчання з підкріпленням. Ця система динамічно обирає конфігурацію гетерогенних роїв БПЛА, зокрема, для пошуку об’єктів на незнайомій місцевості. На експериментальній фазі було впроваджено вдосконалений рівень системи шляхом поєднання нейронних мереж і навчання з підкріпленням, на основі рольових алгоритмів та алгоритму MADDPG. Для подолання перешкод зв’язку представлений децентралізований алгоритм прийняття рішень роєм на основі інформаційного злиття (IFDSDA). Експеримент демонструє покращення роботи системи гетерогенних роїв БПЛА з нейронною мережею для прийняття рішень на основі навчання з підкріпленням. Навколишнє середовище представлене тривимірним простором де знаходяться об’єкти для пошуку у випадкових місцях. Нейронна мережа розвиває свою стратегію прийняття рішень протягом навчальних епізодів, маючи архітектуру з вхідним шаром, що обробляє інформацію про стан БПЛА, прихованими шарами, і вихідним шаром, що впливає на поведінку рою. У статті описано процес прямого поширення, коригування ваг на основі винагороди та роль вихідного шару у визначенні колективних дій. Результати демонструють ефективний розподіл роєм типів БПЛА на основі нейронної мережі, зменшення надмірності та втрат ресурсів, тим самим підвищуючи загальну ефективність. У статті висвітлено рішення, отримане в ході експериментів, що супроводжується візуальним представленням результатів.
Посилання
Yongkun Zhou, Bin Rao, Wei Wang. (2020) UAV Swarm Intelligence: Recent Advances and Future Trends. School of Electronics and Communication Engineering. DOI: 10.1109/ACCESS.2020.3028865
Hanno Hildmann, Ernö Kovacs, Fabrice Saffre, A. F. Isakovic. (2019) Nature-Inspired Drone Swarming for Real-Time Aerial Data-Collection Under Dynamic Operational Constraints. Drones.
Xiaofeng Hong, Yonghui Zhao, Nasreen Kausar, Ardashir Mohammadzadeh, Dragan Pamucar, Nasr Al Din Idecor. (2022) A New Decision-Making GMDH Neural Network: Effective for Limited and Fuzzy Data. Computational Intelligence and Neuroscience.
Maryam Kouzeghar, Youngbin Song, Malika Meghjani, Roland Bouffanais. (2023) Multi-Target Pursuit by a Decentralized Heterogeneous UAV Swarm using Deep Multi-Agent Reinforcement Learning. ICRA. DOI:10.1109/ICRA48891.2023.10160919
Ashish Rana. (2018) Reinforcement Learning with OpenAI Gym. Towards Data Science.
Ziquan Wang, Juan Li, Jie Li, Chang Liu. (2023) A decentralized decision-making algorithm of UAV swarm with information fusion strategy. Expert Systems with Applications.
Jide Nosakare Ogunbo, Olufemi Adigun Alagbe, Michael Ilesanmi Oladapo, Changsoo Shin. (2020) N-hidden layer artificial neural network architecture computer code: geophysical application example. Computer Science.
Yesmina Jaafraa, Jean Luc Laurent, Aline Deruyvera, Mohamed Saber Naceur. (2019) Reinforcement Learning for Neural Architecture Search: A Review. Elsevier.
Bhavika (2019) Mathematics behind the Neural Network. Machine Learning Model.
