МОДЕЛЮВАННЯ СИСТЕМІ УПРАВЛІННЯ БПЛА ІЗ ЗАСТОСУВАННЯМ МОДЕЛІ REINFORCEMENT LEARNING

Анотація

У статті було досліджено найбільш поширені методи управління БПЛА із застосуванням як традиційних методів з використанням пропорційно-інтегрально-диференціального (ПІД) закону керування так і інтелектуальних систем. Застосування алгоритмів штучного інтелекту (ШІ), зокрема алгоритмів навчання з підкріпленням (Reinforcement Learning) забезпечує адаптивність до змінної динаміки та середовища. При створенні моделі БПЛА враховувалися основні показники системи керування БПЛА ‒ амплітуда підйомної сили та різниця підйомної сили. Використання цих параметрів у моделюванні дозволяє забезпечити реалістичну поведінку дрона в двовимірному просторі, що дає змогу точно оцінити ефективність алгоритмів управління. Амплітуда підйомної сили відповідає за базову стабільність та виконання вертикальних завдань, тоді як різниця підйомної сили забезпечує можливість маневрування та досягнення заданих маршрутних точок. Була запропонована система оцінки продуктивності (scoring), яка базується на завданні навігації до випадкових точок у просторі, що представлені у вигляді «повітряних кульок». У ході досліджень було розроблено математичну модель та алгоритми управління, що враховують динаміку руху БПЛА у двовимірному просторі, з урахуванням впливу інерції, гравітації та тяги пропелерів. Було проведено моделювання з використанням алгоритмів DQN, SAC і SAC з модифікацією рівня диференціальної тяги. Виконано порівняльний аналіз ефективності зазначених підходів у різних сценаріях. Для тестування ефективності алгоритмів створено симуляційне середовище на основі мови програмування Python із використанням бібліотек NumPy, Matplotlib, Pygame та Stable-Baselines3. Середовище дозволяє моделювати завдання стабілізації польоту, навігації та уникнення перешкод. З метою створення універсальної платформи для дослідження систем управління розроблено симуляційне середовище на основі мови Python. Це середовище дозволяє тестувати алгоритми в умовах, близьких до реальних, без необхідності використання дорогого обладнання.