АДЕКВАТНІСТЬ ПРОЦЕСУ ПОБУДОВИ СЕМАНТИЧНОЇ МОДЕЛІ ДОКУМЕНТУ НА ОСНОВІ НЕСТРУКТУРОВАНОЇ БАЗИ ЗНАНЬ

Анотація

Розробка прикладних програмних систем автоматичної обробки текстів має на увазі вибір того чи іншого механізму опису та реалізації моделі природної мови, доступної для обробки ЕОМ. Оскільки, мова є досить не формалізованою системою з нестабільністю і неоднорідністю власних правил, то головною проблемою при реалізації таких моделей є складність опису семантичних характеристик тексту на рівні алгоритмічного уявлення. У дисертаційній роботі [1] був реалізований підхід до побудови програмної семантичної моделі документа, яка базується на структурі гібридної семантичної мережі. Необхідність і важливість цієї моделі виходить насамперед із аналізу існуючих аналогів і алгоритмічних підходів до побудови семантичних мереж документа – усі вони або базуються на словниках, або не пророблені для флективно багатих груп мови. Розроблений підхід базується на алгоритмі латентно-семантичного аналізу, що дозволяє знаходити семантичні відповідності на основі вагових характеристик тексту і роботі з проекціями координат для базових текстових одиниць на двомірній площині. Використання такого підходу до роботи із семантичними характеристиками тексту є інноваційним не тільки тому, що сфера застосування латентно-семантичного аналізу в першу чергу стосується задач класифікації документів, тоді як у нашій моделі його використання було змінено, і ми наближаємо не документ до терміну, а речення з документів до термінів документа, а і тому, що алгоритм поєднує у собі багато специфічних додаткових етапів, що є нетиповими для підходів побудови семантичної моделі документу. Мова йде про використання алгоритмів кластеризації, із відповідними методами для визначення необхідних для неї параметрів, алгоритмів синтаксичного, морфологічно і просторового аналізу даних [1]. Отриманий підхід дозволяє будувати семантичні моделі наукових текстів без будь-якої попередньої семантичної розмітки або складання семантичних словників, які містять у своєму складі кількісні показники семантичних характеристик тексту, що значно спрощує процес побудови систем автоматичної обробки текстів. Дослідження, проведене у даній статті стосується перевірки спроможності моделі виконувати своє функціональне призначення, шляхом побудови її критеріїв адекватності і перевірки їх виконання шляхом проведення відповідних експериментів.