ПОРІВНЯЛЬНИЙ АНАЛІЗ ГЕОМЕТРИЧНИХ ТА ВЕКТОРНИХ МЕТРИК 3D-ІДЕНТИФІКАЦІЇ ОБЛИЧЧЯ В УМОВАХ ДИНАМІЧНИХ ОКЛЮЗІЙ
DOI:
https://doi.org/10.32782/mathematical-modelling/2026-9-1-6Ключові слова:
3D-реконструкція обличчя, монокулярне відео, динамічні оклюзії, біометрична автентифікація, модель FLAME, MICA, векторні метрики, L2 distance, геометричні метрикиАнотація
У даній роботі досліджується проблема стійкої до оклюзій тривимірної (3D) реконструкції обличчя за допомогою монокулярного відео для систем автентифікації в режимі реального часу. Актуальність дослідження зумовлена тим, що випадкові динамічні оклюзії (рухи рук, сторонні предмети, самооклюзії при поворотах голови) залишаються основним джерелом помилок у сучасних алгоритмах розпізнавання, оскільки вони спотворюють фотометричні ознаки та ключові точки обличчя непередбачуваним чином. Метою роботи є порівняльний аналіз ефективності різних типів метрик (векторних та геометричних) для визначення тотожності осіб в умовах, максимально наближених до реальних. Для цього було реалізовано пайплайн обробки відео, що включає фільтрацію кадрів за різкістю (оператор Лапласа) та структурною подібністю (SSIM), а також 3D-реконструкцію на базі регресійної моделі MICA у параметричний простір FLAME. Для забезпечення стабільності ідентичності в умовах динамічних перешкод застосовано медіанне злиття shape-векторів. Експериментальне дослідження проводилося на відеоматеріалах MIT OpenCourseWare, які містять неконтрольоване освітлення, активну жестикуляцію та специфічні оклюзії, спричинені використанням прозорих віртуальних дощок. Задача ідентифікації була сформульована як бінарна класифікація («одна особа» проти «різних осіб») з використанням комплексу метрик: L2 distance, косинусна схожість, Chamfer Distance, Hausdorff Distance та інших. Результати аналізу показали суттєву перевагу векторних представлень над геометричними. Встановлено, що метрика L2 distance у просторі параметрів FLAME є найбільш ефективною, забезпечуючи найвищі показники Precision, Recall, F1-score та найбільшу площу під ROC-кривою (AUC). Натомість геометричні метрики (зокрема Hausdorff distance) виявилися найменш стійкими через надмірну чутливість до викидів та локальних шумів реконструкції, викликаних оклюзіями. Практична цінність роботи полягає у підтвердженні можливості використання 3D-реконструкції для надійної автентифікації в неконтрольованому середовищі при дотриманні лімітів затримки для мобільних пристроїв. Отримані висновки можуть бути використані при розробці систем дистанційного навчання, відеоконференцій та контролю доступу.
Посилання
Kartynnik Y., Ablavatski A., Grishchenko I., Grundmann M. Real-time Facial Surface Geometry from Monocular Video on Mobile GPUs. DOI: https://doi.org/10.48550/arXiv.1907.06724 (дата звернення : 17.04.2024).
Grishchenko I., Ablavatski A., Kartynnik Y., Tsai C., Grundmann M. Attention Mesh: Highfidelity Face Mesh Prediction in Real-time. DOI: https://doi.org/10.48550/arXiv.2006.10962 (дата звернення : 09.03.2024).
Tran A. T., Hassner T., Masi I., Medioni G. Extreme 3D Face Reconstruction: Seeing Through Occlusions. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 3936–3945. DOI: https://doi.org/10.1109/CVPR.2018.00414
Feng Y., Feng H., Cuevas C., Dasgupta S., Bolkart T., Wuhrer S. Learning an Animatable Detailed 3D Face Model from In-The-Wild Images (DECA). ACM Transactions on Graphics. 2021. Vol. 40. № 1. P. 1–14. DOI: https://doi.org/10.1145/3450626.3459936
Wen Y., Chen W., Li T., Yi G., Qiao Y., Ma L. Self-Supervised 3D Face Reconstruction via Conditional Estimation (CEST). Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021. P. 13289–13298. DOI: https://doi.org/10.1109/ICCV48922.2021.01304
Wood E., Baltrusaitis T., Hewitt C., Sementiev S., Cashman T. J., Shotton J. 3D Face Reconstruction with Dense Landmarks. Proceedings of the European Conference on Computer Vision (ECCV). 2022. P. 160–177. DOI: https://doi.org/10.1007/978-3-031-19778-9_10
Dey R., Boddeti V. N. Generating Diverse 3D Reconstructions from a Single Occluded face Image (Diverse3DFace). Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022. P. 11721–11731. DOI: https://doi.org/10.48550/arXiv.2112.00879
Selvaraju P., Rai J. S. J., Barker J., Chandran P., Bradley D., McDonagh S., Beeler S. OFER: Occluded Face Expression Reconstruction. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2025. P. 1–11. DOI: https://doi.org/10.48550/arXiv.2410.21629
Shen J., Zafeiriou S., Chrysos G. G., Kossaifi J., Tzimiropoulos G., Mantic M. The First Facial Landmark Tracking in-the-Wild Challenge: Benchmark and Results (300VW). Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCVW). 2015. P. 50–58. DOI: https://doi.org/10.1109/ICCVW.2015.132
Pillai R. K., Goodyear L. J., Wood E., Baltrusaitis T., Morency L. P., Cohn J. F. The 2nd 3D Face Alignment in the Wild Challenge (3DFAW-Video): Dataset and Evaluation Protocol. Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops (ICCVW). 2019. P. 1–8. DOI: https://doi.org/10.1109/iccvw.2019.00371
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
