ВИСОКОПРОДУКТИВНЕ НЕЙРОМЕРЕЖЕВЕ ЗАФАРБОВУВАННЯ ТРИВИМІРНИХ ФІГУР НА ОСНОВІ МОДЕЛІ PIX2PIX
DOI:
https://doi.org/10.32782/mathematical-modelling/2023-6-1-6Ключові слова:
рендеринг, нейронний рендеринг, Pix2Pix, генеративні нейромережі, згорткові нейромережіАнотація
У статті розроблено двоетапну систему з генеративних нейромереж для зафарбовування тривимірних фігур. Проаналізовано переваги й недоліки стандартних підходів до рендерингу тривимірних зображень. Описано особливості нейронного рендерингу. Розглянуто нейромережеві напрями генерації зафарбованих зображень із геометричних даних фігур і двовимірних ескізів, отримання геометричних даних із зображень. Описано особливості будови й використання генеративних змагальних нейромереж для формування зображень. Обґрунтовано необхідність розробки нових методів нейронного рендерингу для підвищення продуктивності зафарбовування поверхонь тривимірних фігур. Описано запропоновану систему нейромережевого зафарбовування фігур, що включає моделі Pix2Pix, для формування зображень і покращення їх якості. Розроблено набір для тренування нейромережі на основі масиву фігур ShapeNet. Запропоновано об’ємне подання інформації про вершини фігури, що використовується на вході нейромережевої системи. Описано архітектури генератора й дискримінатора Pix2Pix для зафарбовування фігур. Наведено інформацію про тривалість тренування нейромережі та використані метрики похибки. Побудовано графік зміни похибок дискримінатора й генератора під час тренування Pix2Pix для зафарбовування фігур. За допомогою метрики SSIM і тестового набору фігур обчислено рівень якості генерації зображень. Описано архітектури генератора та дискримінатора Pix2Pix для покращення якості й масштабування генерованих зображень. Побудовано графік зміни метрик помилок генератора та дискримінатора під час тренування Pix2Pix для підвищення якості зображень. Наведено приклади згенерованих двоетапною нейромережевою системою зображень зафарбованих фігур. На основі метрики SSIM оцінено якість згенерованих на другому етапі системи зображень. Порівняно швидкість зафарбовування фігур за допомогою запропонованої системи й рендера Blender Eevee. Розроблена нейромережева система дає змогу генерувати реалістичні зображення та підвищити продуктивність зафарбовування поверхонь фігур.
Посилання
Романюк О.Н. Комп’ютерна графіка : навчальний посібник. Вінниця : ВДТУ, 1999. 130 с.
Романюк О.Н., Романюк С.О., Романюк О.В. Основні процедури графічного конвеєра. Інформаційні технології в культурі, мистецтві, освіті, науці, економіці та бізнесі : матеріали VІI Міжнародної науково-практичної конференції. Київ, 2022. С. 44–47.
Saleem U. Ray Tracing vs Rasterized Rendering – Explained. Appuals. URL: https://appuals.com/ray-tracing-vs-rasterized-rendering-explained/ (accessed 25.08.2023).
The Overview of Neural Rendering / E.K. Zavalniuk et al. Modern Engineering and Innovative Technologies. 2023. Issue № 27. Part 1. Р. 129–134.
RenderNet: A deep convolutional network for differentiable rendering from 3D shapes / T. Nguyen-Phuoc et al. NeurIPS 2018. Montreal, 2018. Р. 7891–7901.
Generative adversarial networks / І. Goodfellow et al. Communications of the ACM. 2020. Issue 11. Р. 139–144.
Harris-Dewey J., Klein R. Generative Adversarial Networks for Non-Raytraced Global Illumination on Older GPU Hardware. International Journal of Electronics and Electrical Engineering. 2022. № 1. Р. 1–7.
ShapeNet: official web site. URL: https://shapenet.org (accessed 25.08.2023).
Brownlee J. How to Develop a Pix2Pix GAN for Image-To-Image Translation. MachineLearningMastery. URL: https://machinelearningmastery.com/how-to-develop-apix2pix-gan-for-image-to-image-translation/ (accessed on: 25.08.2023).
Image-to-Image Translation with Conditional Adversarial Networks / Р. Isola et al. 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, 2017. Р. 5967–5976.
An approach to correlation of QoE metrics applied to VoD service on IPTV using a Diffserv Network / D. Botia et al. IEEE LATINCOM 2012. Cuenca, 2012. Р. 140–144.
Завальнюк Є.К., Романюк О.Н. Огляд метрик порівняння якості зображень. Молодь в науці: дослідження, проблеми, перспективи (МН-2023) : матеріали Всеукраїнської науково-практичної інтернет-конференції. Вінниця, 2023. С. 571–574.
The Analysis Of Subjective Metrics and Expert Methods for Image Quality Assessment / O.N. Romanyuk et al. Intellektuelles Kapital – die Grundlage für innovative Entwicklung: Technik, Informatik, Landwirtschaft. Monografische Reihe «Europäische Wissenschaft». Karlsruhe : ScientificWorld-NetAkhatAV, 2023. 174 p.
Streijl R.C., Winkler S., Hands D. Mean opinion score (MOS) revisited: methods and applications, limitations and alternatives. Multimedia Systems. 2016. № 2. Р. 213–227.
