ІНТЕЛЕКТУАЛЬНА СИСТЕМА ВИЗНАЧЕННЯ ІНГРЕДІЄНТІВ ТА ПРОПОЗИЦІЇ РЕЦЕПТІВ З ВИКОРИСТАННЯМ AR НА ПЛАТФОРМІ
DOI:
https://doi.org/10.35546/kntu2078-4481.2024.1.39Ключові слова:
розпізнавання, класифікація, згорткова нейронна мережа, кулінарія, YOLO, iOSАнотація
Розпізнавання об'єктів відіграє значну роль у поліпшенні побутових умов, особливо в контексті розпізнавання кулінарних інгредієнтів. Системи, здатні автоматично визначати продукти на основі зображень за допомогою нейронних мереж, мають потенціал значно спростити приготування їжі і зробити його більш доступним і зручним для багатьох людей. Задача визначення є найважливішою при цьому. Сучасні тенденції в області інформаційних технологій обумовлюють актуальність розробки інтелектуальних систем, здатних аналізувати і візуалізувати дані в реальному часі. У контексті кулінарного світу, створення інтелектуальної системи для визначення інгредієнтів і пропозиції рецептів на платформі iOS відкриває нові горизонти для користувацького досвіду та інноваційних підходів до готування. Маючи функціональність розпізнавання об'єктів в області кулінарії, користувачі можуть просто направити камеру пристрою на свої продукти або страви, і система надасть детальну інформацію про склад і поживні властивості. Це особливо цінно для тих, хто стежить за дієтою, стикається з алергіями або просто прагне до більш усвідомленого харчування. Така технологія також може служити освітнім інструментом, допомагаючи людям вивчати нові інгредієнти та експериментувати з різними рецептами. Все це сприяє різноманітності і якості приготування їжі в побутових умовах. вибір платформи iOS для розробки інтелектуальної системи розпізнавання інгредієнтів обґрунтований не тільки широкою популярністю пристроїв Apple, але і видатним набором інструментів, наданих компанією. Apple створила відмінну МП Swift, що включає в себе зручну потужні фреймворки, і, що важливо, забезпечує доступність програми на більшості своїх пристроїв, включаючи навіть більш старі моделі. Метою роботи є підвищення ефективності розпізнавання об'єктів-харчових продуктів для подальшої рекомендації рецептів з використанням стеку ARKit на платформі iOS. Для цього необхідно було розробити методи та математичну модель спеціально адаптованих до екосистеми пристроїв Apple, з метою забезпечення максимальної ефективності та подальшого росту екосистеми аналогічних додатків. В увагу ставиться як швидкість, так і оптимізація в контексті мобільних пристроїв. Метою роботи є підвищення ефективності та кількості розпізнавання харчових обʼєктів-інгредієнтів для подальшої рекомендації рецептів. У роботі досліджується предметна область та актуальність дослідження. Розбирається стек технологій та її придатність, аналізується наукова ситуація та аналогічні дослідження. Важливим пунктом є теорія та обґрунтування методів, які були використані. Розглянуто методи та підходи, які були використані для вирішення проблем поліпшення ідентифікації інгредієнтів. Розроблені технічні та математичні аспекти обраних ефективних рішень. Розроблено базову математичну модель, яка керує обраними методами – алгоритму YOLO імплементації Apple через мережу darknet, а також методів вивчення з перенесенням, оскільки розуміння моделей має вирішальне значення для ефективної адаптації та точної настройки алгоритмів до конкретної дослідницької задачі – поліпшення ідентифікації інгредієнтів. Були описані та продемонстровані обрані фреймворки, мова програмування та методи. У розділі експериментів буде продемонстровані результаті навчання моделі та зібрані метрики. У висновках роботи описано, яка модель винайшла себе найкращою.
Посилання
Zhengxia Zou; Keyan Chen; Zhenwei Shi; Yuhong Guo; Jieping Ye (2023), "Object Detection in 20 Years: A Survey", pp. 1–15.
Annotating objects in augmented reality. Режим доступу: https://heartbeat.comet.ml/core-ml-arkit-annotatingobjects-in-augmented-reality-493952a94a5f
Zhengxia Zou; Keyan Chen; Zhenwei Shi; Yuhong Guo; Jieping Ye (2023), "Object Detection in 20 Years: A Survey", pp. 1–15.
T Diwan, G Anirudh, JV Tembhurne (2023), "Object detection using YOLO: Challenges, architectural successors, datasets and applications", Stages of object detection, pp. 10–11.
H Le, M Nguyen, WQ Yan, H Nguyen (2021), "H Le, M Nguyen, WQ Yan, H Nguyen", Object Detection, pp. 3–4.
Q Wang, Z Wang, B Li, D Wei (2021), "An Improved YOLOv3 Object Detection Network for Mobile Augmented Reality", Introduction, pp. 1–3.
NHH Cuong, TH Trinh, P Meesad (2022), "Improved YOLO object detection algorithm to detect ripe pineapple phase", Introduction, pp. 1–3.
AB Wahyutama, M Hwang (2022), YOLO-based object detection for separate collection of recyclables and capacity monitoring of trash bins.
R Silitonga, J Arif, R Analia, ER Jamzuri, DS Pamungkas (2023), "Tiny-YOLO distance measurement and object detection coordination system for the BarelangFC robot."
CreateML Overview. Режим доступу: https://developer.apple.com/documentation/createml#overview
AB Wahyutama, M Hwang (2022), YOLO-based object detection for separate collection of recyclables and capacity monitoring of trash bins.
TechTalks WWDC 2019 Режим доступу: https://developer.apple.com/videos/play/tech-talks/10155/
Core ML Integrate machine learning models into your app. Режим доступу: https://developer.apple.com/documentation/coreml
Rey Wenderlich (2019), "Machine Learning by Tutorials".