ДОСЛІДЖЕННЯ МЕТОДІВ МАШИННОГО НАВЧАННЯ ДЛЯ ПОШУКУ ІНФОРМАЦІЇ

Анотація

Перевагами використання машинного навчання в пошуку є те, що пошукова система може навчатися і тим самим приводити до більш персоналізованих відповідей, а не поширених результатів. У відомих пошукових системах такі алгоритми використовуються в же д авно і п остійно удосконалюються. У роботі на прикладах було досліджено методи і алгоритми машинного навчання, які використовуються для пошуку інформації, їх переваги і недоліки. Було обрано колоборативну фільтрацію, кластерізацію та пошук асоціативних правил. Розглянуті основні підходи колоборативної фільтрації – кореляційні і латентні моделі. В якості кореляційних моделей – фільтрацію за подібністю користувачів (user-based filtration) і фільтрація за подібністю посилань (item-based filtration). Ці моделі розглянуті на прикладах, які показують, як працюють алгоритми. Фільтрація за подібністю посилань прогнозує оцінку на основі оцінок іншого посилання та використовує регресійний аналіз або, як альтернативу, використовує спрощений предиктор, що називається алгоритмом SlopeOne. Розглянуті метрики: евклідова відстань, косинусний коефіцієнт та коефіцієнт кореляції Пірсона, що використовуються для визначення коефіцієнта подібності користувачів в моделі фільтрації за подібністю користувачів. В якості латентних моделей розглянуті алгоритми кластеризації: бікластеризація, алгоритм просторової кластеризації з присутністю шуму DBSCAN, алгоритм нечіткої кластеризації c-means. Всі ці алгоритми призначені для формування кластерів даних за визначеним критерієм. Розглянуто пошук асоціативних правил на прикладі алгоритму Apriori, що генеруються на основі всіх поширених пошукових наборів, виявлених в базі даних пошукових запитів, які задовольняють заданому критерію відповідності. Для застосування цього алгоритму дані були приведені до бінарного вигляду та відповідної структури даних. Зроблено висновки, що кожний з цих методів має свої недоліки і тільки завдяки їх комбінуванню можна досягти бажаного результату для підвищення якості пошуку в залежності від задач, які поставив замовник.