МЕТОД КОДУВАННЯ КОНТУРІВ МУЗИЧНИМ ЗВУКОМ
DOI:
https://doi.org/10.32782/KNTU2618-0340/2021.4.1.5Ключові слова:
перетворення візуальної інформації у звук, контур, сигнатура, частота звукуАнотація
У статті розглянуті технології перетворення візуальної інформації у звукову форму, які активно розвиваються у даний час. Ці технології використовуються у системах звукобачення для незрячих і людей із слабким зором. Зрячим людям частковий перенос візуальної інформації на акустичний сигнал дозволить покращити загальне сприйняття інформації, полегшити задачу візуального моніторингу, зосередити увагу одночасно на декількох візуальних полях. У статті запропоновано метод побудови звукового образу контуру об’єкта на цифровому зображенні за допомогою музичного звуку у зручному для сприйняття діапазоні частот від 440 Гц до 1760 Гц. Контур визначає найважливішу властивість об’єкту – його форму і є найбільш інформативною характеристикою для розпізнавання. Згідно із запропонованим методом, звуковий образ формується на основі одновимірного представлення контуру з використанням сигнатури «кут-відстань» − функції відстані від центроїда до точок контуру з рівномірним кроком по куту. Центроїд є аналогом «точки погляду» – місця, куди сфокусовані очі людини, коли вона починає оглядати обмежений контуром об’єкт. При побудові послідовності звукових сигналів використовується принцип: більшому значенню сигнатури відповідає більша частота звукового сигналу (більш висока нота). Слух людини характеризується відносно високою роздільною здатністю щодо сприйняття зміни частоти музичного звуку. Побудований за цим методом музичний образ несе візуальну інформацію про розташування точок контуру об’єкта, при цьому задачу розпізнавання форми об’єкта виконує мозок людини. Загальний час відтворення звукового образу контуру залежить від вибраного кроку по куту і заданої тривалості звучання кожного сигналу послідовності. Враховуючи інерційність слуху, рекомендовано задати тривалість звучання 65 мс. На основі звукових образів нескладно інтерпретувати прості геометричні фігури (коло, квадрат та ін.), які є фундаментальними будівельними блоками більш складних об’єктів. Тому визнання їхньої характерної звукової сигнатури – важливий крок до інтерпретації складних зображень.
Посилання
Meijer P.B.L. An Experimental System for Auditory Image Representations. IEEE Transactions on Biomedical Engineering. 1992. Vol. 39, No. 2. P. 112–121.
Радзишевский А.Ю. Основы аналогового и цифрового звука. Москва: Издательский дом “Вильямс”, 2006. 288 с.
Alty J.L., Rigas D.I. Communicating Graphical Information to Blind Users Using Music: the Role of Context. Proceedings of the SIGCHI conference on Human factors in computing systems, Los Angeles, USA, April 18–23 1998. P. 574–581.
Cronly-Dillon J., Persaud K.C., Gregory R. P. F. The Perception of Visual Images Encoded in Musical Form: A Study in Cross-Modality Information Transfer.Proceedings: Biological Sciences. 1999. Vol. 266, No. 1436. P. 2427–2433.
Abboud S., Hanassy S., Levy-Tzedek S., Maidenbaum S., Amedi A. EyeMusic: Introducing a ‘Visual’ Colourful Experience for the Blind Using Auditory Sensory Substitution. Restorative Neurology and Neuroscience. 2014. Vol. 32, No. 2. P. 247–257.
Uno S., Suzuki Y., Watanabe T., Matsumoto M., Wang Y. Sound-based image and position recognition system ‘SIPReS’. Proceedings of the 24th International Conference on Auditory Display (ICAD 2018), Michigan Technological University, USA, June 10–15 2018. P. 67–72.
Гостев И.М. Методы идентификации графических объектов на основе геометрической корреляции. Физика элементарных частиц и атомного ядра. 2010. Т. 41. № 1. С. 49–96.
Zhang D., Lu G. Review of shape representation and description techniques. Pattern Recognition. 2004. Vol. 37, No. 1. P. 1–19.
Каленчук-Порханова А.А., Вакал Л.П. Пакет программ аппроксимации функций. Комп’ютерні засоби, мережі та системи. 2008. № 7. С. 32–38.
Вакал Л.П. Рівномірне кусково-поліноміальне наближення. Комп’ютерні засоби, мережі та системи. 2006. № 5. С. 53–59.
Vakal L.P. Solving uniform nonlinear approximation problem using continuous geneticalgorithm. Journal of Automation and Information Sciences. 2016. Vol. 48, No. 6. P. 49–59.
Гонсалес Р., Вудс Р. Цифровая обработка изображений. Москва : Техносфера, 2012. 1104 c.
