МУЛЬТИМОДЕЛЬНИЙ ПІДХІД ДО ГЕНЕРАЦІЇ СИНТЕТИЧНИХ ДАНИХ ДЛЯ ОЦІНКИ СЕМАНТИЧНОЇ СХОЖОСТІ ТЕКСТОВИХ МІТОК ВЕБІНТЕРФЕЙСІВ
DOI:
https://doi.org/10.35546/kntu2078-4481.2025.4.2.12Ключові слова:
великі мовні моделі, доступність вебсайтів, мультимодельний підхід, семантична схожість, статистичний консенсус, синтетичні навчальні дані, валідація наборів даних.Анотація
Автоматизація перевірки веб-доступності за стандартами Web Content Accessibility Guidelines (WCAG) залишається значним викликом, особливо для критеріїв, що вимагають семантичного розуміння контенту. Критерій WCAG 2.5.3 «Мітка у імені» вимагає узгодженості між видимим текстом елементів інтерфейсу та їхніми доступними іменами, проте традиційні методи зіставлення рядків не враховують семантичні нюанси текстових модіфікацій. Мета. Розробити методологію створення та валідації надійного набору даних для оцінки семантичної відповідності текстових міток за відсутності об'єктивного еталону. Це включає розробку таксономії семантичних змін, застосування мультимодельного підходу до генерації та анотації синтетичних даних українською та англійською мовами. Методи. Дослідження використовує мультимодельний підхід із залученням чотирьох провідних LLM для генерації понад 14 тисяч унікальних пар текстів та 17 моделей для анотування даних. Розроблено таксономію семантичних змін, що класифікує типи модіфікацій від допустимих розширень контексту до критичних суперечностей. Для валідації застосовано статистичний фреймворк формування консенсусу на основі медіани оцінок еталонного ядра моделей із використанням метрик ICC2k, коефіцієнтів детермінації та кореляції Спірмена. Результати. Створено валідований датасет, синтетичні данні анотовані за шкалою семантичної схожості від -1 до 1. Мультимодельний підхід забезпечив різноманітність датасету та мінімізував упередження окремих моделей. Висновки. Розроблена методологія ефективно вирішує проблему створення навчальних даних за відсутності еталону. Сформований датасет уможливлює об'єктивне порівняння комерційних LLM та економічно ефективну дистиляцію знань у малі моделі для практичного застосування в інструментах автоматизованого тестування доступності.
Посилання
Automated WCAG Testing Is Not Enough for Web Accessibility & ADA Compliance. UsableNet. URL: https://blog.usablenet.com/automated-wcag-testing-is-not-enough-for-web-accessibility-ada-compliance (date of access: Nov. 12, 2025).
Sane P. A Brief Survey of Current Software Engineering Practices in Continuous Integration and Automated Accessibility Testing, 2021 Sixth International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET), Chennai, India, 2021, pp. 130-134. DOI: https://doi.org/10.1109/WiSPNET51692.2021.9419464
Web Content Accessibility Guidelines (WCAG) 2.1. URL: https://www.w3.org/TR/WCAG21/. (date of access: Nov. 12, 2025).
Huq S.F., Tafreshipour M., Kalcevich K., Malek S. Automated Generation of Accessibility Test Reports from Recorded User Transcripts, 2025 IEEE/ACM 47th International Conference on Software Engineering (ICSE), Ottawa, ON, Canada, 2025, pp. 204-216. DOI: https://doi.org/10.1109/ICSE55347.2025.00043.
Delnevo G., Andruccioli M., Mirri S. On the Interaction with Large Language Models for Web Accessibility: Implications and Challenges, 2024 IEEE 21st Consumer Communications & Networking Conference (CCNC), Las Vegas, NV, USA, 2024, pp. 1-6. DOI: https://doi.org/10.1109/CCNC51664.2024.10454680.
Aralimatti R., Shakhadri S.A.G., Kr K, Angadi K. Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective, Preprints, Feb. 2025. URL: https://doi.org/10.20944/preprints202502.2128.v1 (date of access Nov. 12, 2025).
Gu J., Jiang X., Shi Z., Tan H., Zhai X., Xu C., Li W., Shen Y., Ma S., Liu H., Wang S., Zhang K., Wang Y., Gao W., Ni L., Guo, J. A survey on LLM-as-a-Judge. URL: https://doi.org/10.48550/arXiv.2411.15594 (date of access Nov. 12, 2025).
Kuzikov B., Shovkoplias O., Tytov P., Shovkoplias S., Shutylieva O., Vlasenko O. A Statistical Framework for Consensus-Based Reliability Assessment in Large Language Model Evaluation Applied to Web Accessibility, 5th International Conference on Machine Learning and Big Data Analytics (ICMLBDA) 2025. ICS Global, November 7-8, 2025. https://doi.org/DOI: 10.21203/rs.3.rs-8093408/v1
Kuzikov B., Tytov P., Shovkoplias O., Lavryk T., Koval V., Kuzikova S., Detection And Prevention Of Accessibility Cloaking Attacks, Information Technology Computer Science Software Engineering and Cyber Security, № 1, p. 124–135. DOI: https://doi.org/10.32782/it/2025-1-17
Tytov P.O. Semantic Language Models for WCAG. URL: https://www.kaggle.com/datasets/tytovpavel/semanticlanguage-models-for-wcag. (date of access Nov. 12, 2025)
Kuzikov B.O., Shovkoplias O.A., Tytov P.O., Shovkoplias S.R. Application of small language models for semantic analysis of web interface accessibility, Проблеми програмування, №. 2, С. 77–86, 2025. https://doi.org/10.15407/pp2025.02.077
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
