ОЦІНКА ТОЧНОСТІ МЕТОДІВ ПЕРЕКЛАДУ ШТУЧНИХ МОВ
DOI:
https://doi.org/10.35546/kntu2078-4481.2025.3.2.15Ключові слова:
машинне навчання, штучний інтелект, LSTM, датасети, послідовність у послідовність, переклад, мова, метод, метрика, математична модельАнотація
Стаття присвячена оцінці точності методів перекладу штучних мов в інтелектуальній інформаційній системі перекладу штучних мов із використанням методів штучного інтелекту та статистичних алгоритмів, пропонуючи інноваційний підхід до підвищення ефективності машинного перекладу в умовах динамічного розвитку сучасних технологій. Проведений аналіз показав недостатню точність перекладу, підвищити яку було запропоновано шляхом інтеграції двох методів в одну систему.Метою роботи є оцінка точності методів перекладу в запропонованій інтелектуальної інформаційної системи перекладу штучних мов. В роботі досліджено такі метрики оцінки перекладу, як BLEU, ChrF, BLEURT, COMMET, TER, METEOR та людська оцінка (в якості еталону). Кожен з алгоритмів (математичні моделі, нейромережевий алгоритм та комбінований алгоритм) були перевірені на 12 тестах, кожен з яких – переклад однієї з чотирьох мов в іншу (англійська, українська, французька та есперанто) та в зворотному порядку.Результати демонструють, що дає підвищення середньої точності перекладу на 0.5 % у порівнянні з методом на основі математичних моделей, на 0.2 % у порівнянні з методом на основі нейронних мереж. В деяких парах результат був гірше за окремо взятий алгоритм, але це відбулося через використані коефіцієнти при складені результатів. Так як для кожної окремої пари мов можливо індивідуальне налаштування, то правильний результат буде з’являтися в найгіршому випадку з тією ж точністю, що і найкращий серед 2 результатів.Але це потребує окремого налаштування. Враховуючи отримані результати, можна зробити висновок, що комбінація цих двох методів дозволяє покращити точність перекладу штучних мов. Отримані результати підтверджують ефективність розробленої системи, що дозволяє з високою ефективністю перекладати звичайні та штучні мови.
Посилання
House, Juliane. Translation quality assessment: Past and present. Routledge, 2014.
Han, Lifeng, Gareth JF Jones, and Alan F. Smeaton. “Translation quality assessment: A brief survey on manual and automatic meth-ods”. arXiv preprint arXiv:2105.03311 (2021).
Rivera-Trigueros, Irene. “Machine translation systems and quality assessment: a systematic review”. Language Resources and Evaluation 56.2 (2022): 593–619.
Papineni, Kishore, et al. “Bleu: a method for automatic evaluation of machine translation”. Proceedings of the 40th annual meeting of the Asso-ciation for Computational Linguistics. 2002.
Popović, Maja. “chrF: character n-gram F-score for automatic MT evaluation”. Proceedings of the tenth workshop on statistical machine transla-tion. 2015.
Popović, Maja. “chrF++: words helping character n-grams”. Proceedings of the second conference on machine translation. 2017.
Lavie, Alon, and Michael J. Denkowski. “The METEOR metric for automatic evaluation of machine translation”. Machine translation 23.2 (2009): 105–115.
Agarwal, Abhaya, and Alon Lavie. “Meteor, m-bleu and m-ter: Evaluation metrics for high-correlation with human rankings of machine translation output”. Proceedings of the third workshop on statistical machine translation. 2008.
Mukherjee, Aniruddha, et al. “A Detailed Comparative Analysis of Automatic Neural Metrics for Machine Translation: BLEURT & BERTScore”. IEEE Open Journal of the Computer Society (2025).
Rei, Ricardo, et al. “COMET: A neural framework for MT eval-uation”. arXiv preprint arXiv:2009.09025 (2020).
Гаврашенко, А.., Барковська, О.. (2023). Аналіз алгоритмів аугментації тексту в системах машинного перекладу штучних мов. Сучасні інформаційні системи, 7(1), 47–53. https://doi.org/10.20998/2522-9052.2023.1.08
Барковська, О., Гаврашенко, А.. (2023). АНАЛІЗ АЛГОРИТМІВ ПОШУКУ СЛІВ У СЛОВНИКАХ СИС- ТЕМ МАШИННОГО ПЕРЕКЛАДУ ДЛЯ ШТУЧНИХ МОВ. Комп’ютерні системи та інформаційні технології, (2), 17–24. https://doi.org/10.31891/csit-2023-2-2
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.






