НАЛАШТУВАННЯ СТРУКТУРИ БЕЗСЕРВЕРНОЇ СИСТЕМИ ДЛЯ ЕФЕКТИВНОГО ЗБОРУ ДАНИХ
DOI:
https://doi.org/10.35546/kntu2078-4481.2025.2.2.15Ключові слова:
Збір даних, Безсерверна архітектура, AWS, Хмарні конвеєри даних, Дані про навколишнє середовищеАнотація
Збір та аналіз величезної кількості даних у різних форматах та від різних постачальників завжди був важливим для сучасного програмного забезпечення всіх видів. Це спонукає нас до прагнення створити гнучку, масштабовану та ефективну систему з такими можливостями, як вибірка, обробка та зберігання цих даних. Модульна абстракція допомагає зробити систему універсальною та подолати деякі обмеження постачальників даних та постачальників. Також допомагає обробляти різні формати та великі обсяги робочих навантажень паралельно з комплексною стратегією обробки помилок. Безсерверна архітектура також відіграє величезну роль у досягненні бажаних результатів. Основними архітектурними елементами є: AWS Lambda, S3, Event Bridge, SQS та Athena.Всі вони є основою побудови відмовостійкого, ефективного конвеєра, який може працювати з різними доменами, API та обробляти різні правила. Підхід оркестрації на основі метаданих забезпечує безперешкодну інтеграцію та підтримку постачальників. Крім того, ці методи дозволяють системі бути більш відстежуваною, легкою в тестуванні та безпечною завдяки базовим хмарним рішенням, що надаються певним хмарним постачальником, який використовується. Модульна експериментальна оцінка демонструє ефективність системи порівняно з альтернативними рішеннями, які зараз широко використовуються. Це новий крок у зборі даних зі сторонніх ресурсів, оскільки він також забезпечує більшу гнучкість та налаштування на додаток до обговорюваних тем.Це дослідження зосереджено на створенні вдосконаленого конвеєра для аналізу наборів даних, пов’язаних з кліматом та навколишнім середовищем, від різних зовнішніх постачальників (збір, організація, зберігання, перетворення, аналіз). Рішення має бути гнучким та адаптуватися до різних потреб користувачів та розширень.Воно повинно зосереджуватися не лише на початковому стані процесу збору даних, але й виходити за його межі, щоб бути готовим до ефективної роботи з даними з іншими зовнішніми сервісами. Система повинна бути готова обробляти перелік факторів, які можуть виникнути під час процесу збору даних. Такі як: неузгоджені дані/метадані, квоти, час простою сервера, динамічна еволюція схеми тощо. З цих причин доцільно запропонувати модульну, керовану подіями та безсерверну архітектуру, яка призведе до оркестрації всього описаного робочого процесу.Система повинна дозволяти динамічне налаштування стратегій отримання даних на основі відповідної ситуації, статистики в режимі реального часу та надійності постачальників. Архітектура підтримує розширюваність для майбутніх джерел даних та аналітичних модулів, що сприяє довгостроковій підтримці та адаптивності. Інтеграція з такими сервісами, як AWS Secrets Manager та MongoDB, підвищує безпеку та централізоване управління обліковими даними доступу та станом постачальників. Крім того, використання запитів на основі Athena забезпечує аналітичні можливості майже в режимі реального часу для великих, напівструктурованих наборів даних, підтримуючи генерацію розширених аналітичних даних. Ці проектні рішення сприяють створенню стійкого, перспективного рішення, адаптованого до потреб складних, масштабних екосистем даних.
Посилання
Балдіні, Іоана та ін. «Безсерверні обчислення: сучасні тенденції та відкриті проблеми». Досягнення досліджень у хмарних обчисленнях (2017): 1–20. https://doi.org/10.1007/978-981-10-5026-8_1
Спіллнер, Йозеф та ін. «FaaSdom: набір еталонів для безсерверних обчислень». Міжнародна конференція IEEE/ACM з комунальних послуг та хмарних обчислень (UCC) 2019 року. IEEE, 2019. https://doi.org/10.1109/UCC48980.2019.00015
Йонас, Ерік та ін. «Спрощене хмарне програмування: погляд Берклі на безсерверні обчислення». Препринт arXiv arXiv:1902.03383 (2019). https://doi.org/10.48550/arXiv.1902.03383
Ван, Лей та ін. «Зазирнувши за лаштунки безсерверних платформ». Матеріали щорічної технічної конференції USENIX 2018 року (USENIX ATC 18). 2018. https://doi.org/10.5555/3291168.3291184
Ройтер, Крістіан та ін. «Підхід на основі шаблонів до стійкості до помилок API для хмарних систем». Матеріали Міжнародної конференції IEEE з хмарної інженерії (IC2E) 2020 року. IEEE, 2020. https://doi.org/10.1109/IC2E48795.2020.00011
Ван Ейк, Елко та ін. «Еталонна архітектура SPEC-RG для FaaS: від мікросервісів та контейнерів до безсерверних платформ». IEEE Internet Computing, т. 23, № 6, 2019, с. 7–18. https://doi.org/10.1109/MIC.2019.2952061
Річардсон, Кріс. Шаблони мікросервісів: з прикладами на Java. Manning Publications, 2018. https://doi.org/10.1007/978-1-4842-5574-3_3
Медель, Віктор та ін. «Підтримка проміжного програмного забезпечення для контекстно-залежних застосунків з компонентами повторного використання». Journal of Systems and Software 134 (2017): 181–197. https://doi.org/10.1016/j.jss.2017.08.009
Резенде, Педро та ін. «Відмовостійка архітектура для API на основі REST». Future Generation Computer Systems 108 (2020): 422–435. https://doi.org/10.1016/j.future.2020.03.005
Спіллнер, Йорг та Мірко Вестерхайде «Безсерверна обробка даних за допомогою AWS Lambda та Apache Spark». Journal of Cloud Computing, т. 9, № 1, 2020, с. 1–14. https://doi.org/10.1186/s13677-020-00172-0
Балдіні, Іоана та ін. «Безсерверні обчислення: сучасні тенденції та відкриті проблеми». Research Advances in Cloud Computing, під редакцією Раджкумара Буйї та ін., Springer, 2017, с. 1–20. https://doi.org/ 10.1007/978-981-10-5026-8_2
Ранівала, Хемант та ін. «Розробка економічно ефективних та масштабованих безсерверних застосунків». Міжнародна конференція IEEE з хмарної інженерії (IC2E) 2021 року, 2021, с. 95–102. https://doi.org/10.1109/ IC2E52221.2021.00028.
Лю, Ян та ін. «Розуміння безсерверних обчислень: погляд з розподілених систем». ACM SIGOPS Operating Systems Review, т. 53, № 1, 2020, с. 35–41.
Ішакян, Ватче, Вінод Мутхусамі та Александер Сломінський. «Обслуговування моделей глибокого навчання на безсерверній платформі». Міжнародна конференція IEEE з хмарної інженерії (IC2E) 2018 р., 2018, с. 257–262. https://doi.org/10.1109/IC2E.2018.00039
Гулісано, Вінченцо та ін. «StreamCloud: еластична та масштабована система потокової передачі даних». IEEE Transactions on Parallel and Distributed Systems, т. 23, № 12, 2012, с. 2351–2365. https://doi.org/10.1109/TPDS.2012.21
Тірумуруганатан, Судіпа Рой та ін. «Курування даних за допомогою глибокого навчання: опитування». Праці фонду VLDB, т. 14, № 12, 2021, с. 3190–3202. https://doi.org/10.14778/3476311.3476381
Анантхакрішна, Рамеш та ін. «Усунення нечітких дублікатів у сховищах даних». Матеріали 28-ї Міжнародної конференції з дуже великих баз даних (VLDB), 2002, с. 586–597. https://doi.org/10.14778/645806.669434.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
