Developing a framework architecture of a secure big data lake

В данной выпускной квалификационной работе представлена разработка Ð°Ñ€Ñ Ð¸Ñ‚ÐµÐºÑ‚ÑƒÑ€Ñ‹ фреймворка защищённого озера Ð±Ð¾Ð»ÑŒÑˆÐ¸Ñ Ð´Ð°Ð½Ð½Ñ‹Ñ . За основу взят Data Lake Architecture Framework (DLAF), разработанный исследователями Ð´Ð°Ð½Ð½Ñ‹Ñ Ð¨Ñ‚ÑƒÑ‚Ð³Ð°Ñ€Ð´ÑÐºÐ¾Ð³Ð¾ Университета. В работе исследована методология DLAF, его аспекты и из взаимодействия. Разработка средства обеспечения информационной безопасности озера Ð´Ð°Ð½Ð½Ñ‹Ñ Ð½Ð° Ð°Ñ€Ñ Ð¸Ñ‚ÐµÐºÑ‚ÑƒÑ€Ð½Ð¾Ð¼ уровне потребовала тщательного отбора сценариев атак и моделей безопасности. Отбор проводился с учётом Ñ‚Ð°ÐºÐ¸Ñ Ð³Ð»Ð°Ð²Ð½Ñ‹Ñ Ð¾Ñ‚Ð»Ð¸Ñ‡Ð¸Ñ‚ÐµÐ»ÑŒÐ½Ñ‹Ñ Ñ‡ÐµÑ€Ñ‚ озера Ð´Ð°Ð½Ð½Ñ‹Ñ , как возможности загрузки, обработки и выгрузки Ð´Ð°Ð½Ð½Ñ‹Ñ Ð°Ð±ÑÐ¾Ð»ÑŽÑ‚Ð½Ð¾ любого типа, а также взаимодействие с любым источником Ð´Ð°Ð½Ð½Ñ‹Ñ . Выбранные модели безопасности в своей основе состоят из Ñ€Ð¾Ð»ÐµÐ²Ñ‹Ñ Ð¸Ð»Ð¸ Ð°Ñ‚Ñ€Ð¸Ð±ÑƒÑ‚Ð½Ñ‹Ñ Ð¿Ð¾Ð»Ð¸Ñ‚Ð¸Ðº. Данные модели претерпели модификации под нужды озера Ð´Ð°Ð½Ð½Ñ‹Ñ . Обеспечение защиты Ð´Ð°Ð½Ð½Ñ‹Ñ Ð²Ð¾Ð·Ð»Ð¾Ð¶ÐµÐ½Ð¾ на два компонента: Global Monitoring Tool и Check Sum Controller. Данные компоненты включены в политики модели безопасности на этапе проектирования. Первый компонент реализован в виде композиции моделей машинного обучения и нуждается в предварительном обучении. Он отвечает за мониторинг Ð²ÑÐµÑ Ð¾Ð¿ÐµÑ€Ð°Ñ†Ð¸Ð¹ озера Ð´Ð°Ð½Ð½Ñ‹Ñ Ð¸ Ð¸Ñ ÐºÐ»Ð°ÑÑÐ¸Ñ„Ð¸ÐºÐ°Ñ†Ð¸Ð¸ на безопасные и вредоносные. Второй компонент обрабатывает любое взаимодействие с контрольной суммой файлового объекта в течение всего пребывания в озере Ð´Ð°Ð½Ð½Ñ‹Ñ . Приведённый в работе инструментальный аудит информационной безопасности дал объективные оценки разработанного решения и рекомендации по выбору моделей безопасности.
This final qualification paper presents the development of a protected big data lake framework architecture. It is based on the Data Lake Architecture Framework (DLAF) developed by data scientists at the University of Stuttgart. The paper investigates the DLAF methodology, its aspects and from interactions. Developing a data lake information security tool at the architectural level required a careful selection of attack scenarios and security models. The selection was made taking into account the main features of the data lake, such as the ability to download, process and upload data of absolutely any type, as well as interaction with any data source. The selected security models consist fundamentally of role or attribute policies. These models have undergone modifications for the needs of the data lake. Data protection is assigned to two components: Global Monitoring Tool and Check Sum Controller. These components are included in the security model policies at the design stage. The first component is implemented as a composition of machine learning models and needs to be pre-trained. It is responsible for monitoring all data lake operations and classifying them into safe and malicious ones. The second component handles any interaction with the checksum of the file object during the entire stay in the data lake. The information security instrumental audit presented in this paper provided objective evaluations of the developed solution and recommendations for security model selection.