ЗАСТОСУВАННЯ ТЕХНОЛОГІЇ ПРОСТОРОВИХ ТРАНСФОРМЕРІВ У ЗАДАЧІ НЕЙРОМЕРЕЖЕВОЇ КЛАСИФІКАЦІЇ СІЛЬСЬКОГОСПОДАРСЬКИХ УГІДЬ НА ОСНОВІ ДАНИХ СУПУТНИКІВ SENTINEL
DOI:
https://doi.org/10.35546/kntu2078-4481.2026.1.50Ключові слова:
багатоканальні космічні зображення, Sentinel, класифікація сільськогосподарських угідь, глибинне навчання, нейронна мережа, трансформер, часова увага, просторова увагаАнотація
У даній роботі досліджено доцільність використання просторових трансформерних механізмів у задачі нейромережевої класифікації сільськогосподарських угідь на основі мультичасових супутникових даних Sentinel-1 та Sentinel-2. Запропоновано вдосконалення існуючої інформаційної технології шляхом поєднання часової уваги для адаптивної агрегації багаточасових спостережень із просторовим трансформерним модулем, призначеним для моделювання глобальних просторових залежностей у картах ознак. Існуюча інформаційна технологія передбачає використання нейронної мережі з архітектурою U-Net з енкодером EfficientNetV2-L, попередньо навченої на датасеті ImageNet-21k, із застосуванням механізмів уваги, що агрегують часові ознаки у процесі обробки багатоспектральних і радарних знімків. У роботі розглянуто декілька варіантів інтеграції часової та просторової уваги: послідовні схеми (із розміщенням трансформера до або після механізму часової агрегації) та паралельні схеми з різними способами об’єднання ознак (конкатенація з 1 × 1 проєкцією, шлюзоване адитивне злиття та зважене сумування). Експериментальні дослідження проведено на вибірці, що охоплює понад 90 тис. земельних ділянок у регіоні Берлін-Бранденбург (Німеччина), із поділом на орні та неорні землі, що забезпечує репрезентативність отриманих результатів. Отримані результати свідчать, що використання просторового трансформера не завжди призводить до підвищення точності класифікації. Найкращий показник досягнуто у варіанті з включенням трансформера перед механізмом часової уваги, тоді як інші схеми інтеграції демонструють зниження якості. Це вказує на необхідність доцільного та контекстно обґрунтованого використання трансформерних механізмів у задачах класифікації сільськогосподарських угідь, де домінують локальні текстурні та спектральні ознаки.
Посилання
Boulila W., et al. A transformer-based approach empowered by self-attention for semantic segmentation in remote sensing. Heliyon. 2024. № 10(8). e29396. DOI: https://doi.org/10.1016/j.heliyon.2024.e29396
Chen M., Li L. Hierarchical transfer learning with transformers to improve semantic segmentation in remote sensing land use. Remote Sensing. 2025. № 17(2). 290. DOI: https://doi.org/10.3390/rs17020290
Chen H., He G., Peng X., Wang G., Yin R. A multi-scale feature fusion deep learning network for the extraction of cropland based on Landsat data. Remote Sensing. 2024. № 16(21). 4071. DOI: https://doi.org/10.3390/rs16214071
Chen X., Li D., Liu M., Jia J. CNN and transformer fusion for remote sensing image semantic segmentation. Remote Sensing. 2023. № 15(18). 4455. DOI: https://doi.org/10.3390/rs15184455
Gao M., Lu T., Wang L. Crop mapping based on Sentinel-2 images using semantic segmentation model of attention mechanism. Sensors. 2023. № 23(15). 7008. DOI: https://doi.org/10.3390/s23157008
Lian Z., Zhan Y., Zhang W., Wang Z., Liu W., Huang X. Recent advances in deep learning-based spatiotemporal fusion methods for remote sensing images. Sensors. 2025. № 25(4). 1093. DOI: https://doi.org/10.3390/s25041093
Gong Y., Chen C., Zheng Y. Hybrid deep learning model for multi-source remote sensing data fusion: integrating DenseNet and Swin Transformer for spatial alignment and feature extraction. Informatica. 2025. № 49(24). DOI: https://doi.org/10.31449/inf.v49i24.8395
Xu H., Song J., Zhu Y. Evaluation and comparison of semantic segmentation networks for rice identification based on Sentinel-2 imagery. Remote Sensing. 2023. № 15(6). 1499. DOI: https://doi.org/10.3390/rs15061499
Wang R., Ma L., He G., Johnson B. A., Yan Z., Chang M., Liang Y. Transformers for remote sensing: a systematic review and analysis. Sensors. 2024. № 24(11). 3495. DOI: https://doi.org/10.3390/s24113495
Чумичов Д., Нікулін С. Технологія нейромережевої класифікації космічних знімків для виявлення неорних земельних ділянок. Електротехнічні та інформаційні системи. 2025. № 108. С. 114–127. DOI: https://doi.org/10.32782/EIS/2025-108-15
Чумичов Д., Нікулін С. Використання контурів об’єктів супутникових знімків Sentinel для класифікації сільськогосподарських земель за допомогою нейронних мереж. Комп’ютерно-інтегровані технології: освіта, наука, виробництво. 2025. № 61. С. 213–226. DOI: https://doi.org/10.36910/6775-2524-0560-2025-61-30
Safari P., India M., Hernando J. Self-attention networks in speaker recognition. Applied Sciences. 2023. № 13(11). 6410. DOI: https://doi.org/10.3390/app13116410
Slimani N., Jdey I., Kherallah M. Improvement of satellite image classification using attention-based vision transformer. Proceedings of the 16th International Conference on Agents and Artificial Intelligence. 2024. С. 80–87. DOI: https://doi.org/10.5220/0012298400003636
Gackstetter D., Yu K., Körner M. Self-attention and frequency-augmentation for unsupervised domain adaptation in satellite image-based time series classification. ISPRS Journal of Photogrammetry and Remote Sensing. 2025. № 224. С. 113–132. DOI: https://doi.org/10.1016/j.isprsjprs.2025.03.024
Gao Y., Jiang X., Li Z., Song X., Li W. M3LNet: multi-frequency multi-scale multi-modal learning for multisource image classification. Proceedings of the 2nd Asia Symposium on Image and Graphics. 2025. С. 85–91. DOI: https://doi.org/10.1145/3718441.3718454
Liu Y., Guo Y., Georgiou T., et al. Fusion that matters: convolutional fusion networks for visual recognition. Multimedia Tools and Applications. 2018. № 77. С. 29407–29434. DOI: https://doi.org/10.1007/s11042-018-5691-4
Fan Y., Niu L., Liu T. Multi-branch gated fusion network for image quality improvement in maritime perception systems. Journal of Marine Science and Engineering. 2022. № 10(12). 1839. DOI: https://doi.org/10.3390/jmse10121839
Yuan J., Shi Z., Chen S. Feature fusion in deep-learning semantic image segmentation: a survey. Science and Technologies for Smart Cities. Cham : Springer, 2022. С. 261–276. DOI: https://doi.org/10.1007/978-3-031-06371-8_18
Copernicus Browser [Електронний ресурс]. URL: https://browser.dataspace.copernicus.eu (дата звернення: 28.11.2025)
Field Boundaries for Agriculture (fiboa) [Електронний ресурс]. URL: https://fiboa.org (дата звернення: 30.11.2025)
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
