МОДИФІКАЦІЯ МЕТОДУ КЛАСТЕРИЗАЦІЇ ВЕЛИКИХ ТЕКСТОВИХ МАСИВІВ

Анотація

У даній роботі було проведено порівняльний аналіз розповсюджених методів кластеризації, таких як k-means, Латентний розподіл Діріхле або LDA, Ієрархічний алгоритм кластеризації (ІC), Density-based spatial clustering of applications with noise або DBSCAN, а також Модель суміші гаусіан (Gaussian Mixture Model або GMM). Аналіз проводився згідно з обраними критеріями, такими як масштабованість, обчислювальна складність, наявність (чи відсутність) умови попередньо визначеного числа кластерів, а також підхід до оцінювання (абсолютний з чітким відношення до кластеру або відносний з використання вірогідностей). Згідно з результатами, для подальшого розгляду був обраний метод DBSCAN через ряд переваг та зрештою була запропонована модифікація, яка зменшує кількість потенційних обчислень на кожній ітерації, як наслідок зменшує обчислювальну складність, що у свою чергу підвищує продуктивність системи, особливо в умовах обмежених ресурсів. Модифікація полягає у двох змінах: етапі векторизації, яка відбувається за анотацією та ключовими словами тексту, вказаними автором, замість повного тексту та оцінки відстані для так званих шумних точок, яка відбувається у два етапи. Запропоновану модифікацію методу DBSCAN було випробувано на власному датасеті Academ Lib Set, сформованому на основі матеріалів які знаходяться в електронному каталозі наукової бібліотеки ХНУРЕ. Аналіз результатів показав покращення результатів показників Precision на 5,6%, Recall на 12,5% та F-міри на 9,65%, що доводить дієвість запропонованої модифікації. Подальші кроки передбачають випробування поєднань методів та модулів у більші функціональні блоки для виявлення та усунення потенційних проблем, а також подальша оптимізація таких блоків. Окремим роботою передбачається дослідження підходу до повторної кластеризації після оновлення набору даних з першочерговим розглядом підходів повторної кластеризації усіх документів (поточний метод) та такої для точок з найменшим силуетним коефіцієнтом. Оцінка якості формування нового розподілення планується на основі індексу Ранда.