ІНФОРМАЦІЙНА ЕНТРОПІЯ ОБЧИСЛЮВАЛЬНИХ СТАНДАРТІВ IEEE 754: ТЕОРЕТИЧНИЙ АНАЛІЗ ТА ПРАКТИЧНІ НАСЛІДКИ

Анотація

У статті запропоновано оригінальний підхід до дослідження числових форматів стандарту IEEE 754 крізь призму теорії інформації Шеннона. На відміну від традиційних досліджень, що розглядають формати IEEE 754 виключно з точки зору обчислювальної точності або швидкодії, у даній роботі вперше систематично досліджено інформаційно-ентропійні характеристики кожного функціонального поля цих форматів – знакового біта, поля порядку та поля мантиси. Запропоновано авторське визначення поняття «питомої ентропійної ефективності» (ПЕЕ) числового формату як метрики, що дозволяє кількісно порівнювати інформаційну насиченість різних форматів подання дійсних чисел. Проведено детальний ентропійний аналіз чотирьох стандартних форматів – binary16, binary32, binary64 та binary128 – з урахуванням специфіки денормалізованих чисел, множинного кодування нуля, семантичної надмірності значень NaN. Вперше систематично класифіковано чотири джерела ентропійної надмірності у форматах IEEE 754 та оцінено їх відносний внесок. Встановлено аналітичну залежність між розрядністю поля порядку та рівнем NaN-надмірності формату. Виявлено та кількісно охарактеризовано прояв закону Бенфорда у бінарних числових форматах: нерівномірний розподіл старших біт мантиси створює потенціал стиснення близько 2 % на біт мантиси. Результати дослідження утворюють теоретичну основу для проектування нових числових форматів з оптимальними інформаційними характеристиками, зокрема для нейромережевих прискорювачів та систем обробки великих числових масивів.