АНАЛІЗ ПЕРЕВАГ ТА НЕДОЛІКІВ ГЕНЕРАЦІЇ КОДУ ІЗ ВИКОРИСТАННЯМ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ В СУЧАСНИХ IDE
DOI:
https://doi.org/10.35546/kntu2078-4481.2025.2.2.36Ключові слова:
генерація коду, великі мовні моделі, інтегроване середовище розробки, ШІ-помічникАнотація
У роботі розглянуто способи використання великих мовних моделей для генерації програмного коду. Основна увага приділяється IDE та вбудованим в них системам штучного інтелекту для використання в таких завданнях, як створення проєктів, побудова архітектури програмних застосунків та прототипування застосунків за запитами до моделей. Коду, згенерованому штучним інтелектом, бракує відстежуваності, він часто потребує ітеративного доопрацювання – виклики, з якими існуючі IDE не здатні впоратися. На відміну від коду, створеного людиною, згенерований код погано інтегрується зі структурованими робочими процесами розробки. Як наслідок, розробники борються з галюцинаціями ШІ, коли моделі генерують правдоподібний, але некоректний код, який важко перевірити. У рамках цього дослідження виявлено ситуації некоректної роботи великих мовних моделей як неправильна інтерпретація намірів користувача, галюцинація моделі, неправильне використання API, пов’язане з відсутніми елементами, та використання надлишкової інформації. Зловживання сторонніми API у згенерованому коді є серйозною проблемою у розробці програмного забезпечення. Хоча моделі продемонстрували вражаючі можливості генерації коду, їхня взаємодія зі складними бібліотечними API залишається дуже схильною до появи помилок, що потенційно може призвести до збоїв у роботі програмного забезпечення та вразливостей у безпеці. Результати дослідження демонструють, що найкраще використовувати автозаповнення коду, так як воно надає можливість згенерувати код за запитом із дотриманням заданих обмежень та з меншою ймовірністю появи помилок. Але, серед недоліків такого підходу можна виявити відсутність можливості генерувати код відразу в декількох файлах. Отримані результати сприятимуть оптимальному вибору варіантів використання штучного інтелекту та великих мовних моделей в розробці застосунків. Ця робота спрямована на покращення розуміння сценаріїв використання великих мовних моделей в роботі з програмним кодом.
Посилання
Šavelka, J., Agarwal, A., Bogart, C., Song, Y., & Sakr, M. F. (2023). Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses? Proceedings of the 2023 Conference on Innovation and Technology in Computer Science Education V. 1. DOI: https://doi.org/10.48550/arXiv.2303.09325
Reeves, B., Sarsa, S., Prather, J., Denny, P., Becker, B.A., Hellas, A., Kimmel, B., Powell, G., & Leinonen, J. (2023). Evaluating the performance of code generation models for solving parsons problems with small prompt variations. Proceedings of the 2023 Conference on Innovation and Technology in Computer Science Education V. 1. DOI: https://doi.org/10.1145/3587102.3588805
Denny, P., Kumar, V., & Giacaman, N. (2023). Conversing with Copilot: Exploring prompt engineering for solving CS1 problems using natural language. Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1. DOI: https://doi.org/10.1145/3545945.3569823
Finnie-Ansley, J., Denny, P., Becker, B.A., Luxton-Reilly, A., & Prather, J. (2022). The robots are coming: Exploring the implications of openai codex on introductory programming. Proceedings of the 24th Australasian Computing Education Conference. DOI: https://doi.org/10.1145/3511861.3511863
Zhong, L., Wang, Z. (2024). Can LLM replace stack overflow? A study on robustness and reliability of large language model code generation. Proceedings of the AAAI Conference on Artificial Intelligence, vol. 38, no. 19. DOI: https://doi.org/10.48550/arXiv.2308.10335
Mousavi, Z., Islam, C., Moore, K., Abuadbba, A. & Babar, M. A. (2024). An investigation into misuse of java security apis by large language models. Proceedings of the 19th ACM Asia Conference on Computer and Communications Security. DOI: https://doi.org/10.48550/arXiv.2404.03823
Vaithilingam, P., Zhang, T., & Glassman, E. L. (2022). Expectation vs. experience: Evaluating the usability of code generation tools powered by large language models. Chi conference on human factors in computing systems extended abstracts. https://doi.org/10.1145/3491101.3519665
Zhuo, T.Y., He, J., Sun, J., Xing, Z., Lo, D., Grundy, J., & Du, X. (2025). Identifying and Mitigating API Misuse in Large Language Models. DOI: https://doi.org/10.48550/arXiv.2503.22821
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
