РОЗРОБКА АЛГОРИТМУ БАЛАНСУВАННЯ ВУЗЛІВ З ВИКОРИСТАННЯМ ТЕХНОЛОГІЙ МАШИННОГО НАВЧАННЯ ТА ДИНАМІЧНОГО ОБЧИСЛЕННЯ ВАГИ

Анотація

У статті представлено метод та програмне забезпечення для балансування вузлів у багатовузлових системах з використанням технологій машинного навчання та динамічного обчислення ваги. Актуальність дослідження зумовлена проблемою виникнення «вузьких місць» при обробці великих даних, коли один із вузлів перевантажується, тоді як інші залишаються недовантаженими, що призводить до неефективного використання ресурсів. Метою дослідження є створення програмної системи, здатної в режимі реального часу здійснювати ефективний розподіл навантаження між вузлами та забезпечувати стабільну продуктивність при високих обсягах даних.Запропонований алгоритм поєднує онлайн-модель машинного навчання, яка оцінює складність запитів на основі їх характеристик (таких як довжина, кількість заголовків, тип операцій, наявність JOIN у SQL-запитах), та механізм динамічного обчислення ваги для контролю рівня завантаження вузлів. Важливою особливістю є здатність системи навчатись безпосередньо під час обробки запитів, що усуває потребу у попередній підготовці даних та скорочує час розгортання. У процесі дослідження було використано Python-бібліотеку River, яка надає необхідні інструменти для реалізації онлайн-моделей. Для перевірки роботи запропонованого алгоритму було проведено експериментальне моделювання системи з трьома вузлами та тестування на наборі із 10 тисяч запитів. Запропонований метод у середньому забезпечує покращення ефективності на 2–5 % завдяки більш збалансованому розподілу навантаження між вузлами порівняно з базовими алгоритмами. Отримані результати показали, що запропонований метод демонструє ефективність, співставну з класичними алгоритмами (Round Robin, Random, Join Shortest Queue), однак забезпечує кращий розподіл запитів між вузлами завдяки врахуванню їх складності. Порівняльний аналіз підтвердив, що навіть у контрольованих умовах алгоритм здатен досягати рівня ефективності базових підходів, а в реальних сценаріях, де характер запитів значно варіюється, його переваги можуть виявитися більш суттєвими. Подальші дослідження спрямовані на удосконалення тестового середовища, інтеграцію алгоритму в реальні розподілені системи та відокремлення логіки машинного навчання від загальної архітектури для підвищення гнучкості та масштабованості.