51. МЕТОД ЗМЕНШЕННЯ ЧАСУ ДОСТУПУ ДО СЛАБКОСТРУКТУРОВАНИХ ДАНИХ
- Author
-
Kuchuk, Nina, Merlak, Viktoriia, and Skorodelov, Vladimir
- Subjects
сховище даних ,data store ,трансакція ,poorly structured information ,transaction ,widget ,віджет ,виджет ,слабоструктурированная информация ,транзакция ,хранилище данных ,слабкоструктурована інформація ,004.7 - Abstract
Today, the problem of storage and processing of poorly structured information is relevant. The essence of the problem is that poorly structured and large amounts of data lead to violation of QoS requirements. Also, the data access time increases and, accordingly, the waiting time for a response to a request increases. In addition, data storage costs increase significantly. The subject of the research is the processing and storage of poorly structured and unstructured data. The purpose of the study is to develop a method for reducing access time to unstructured data by creating a hierarchical widget system and planning access to system resources of multiple transaction requests of individual widgets, create queues when accessing non-relational data stores. Results. Variants of the structure of data warehouses for processing and storage of poorly structured data are analyzed. The use of a hierarchical widget system when working with multiple queries is justified. A method for redistributing queues to system resources is proposed. The main criterion for redistribution is the timely and speedy completion of all transactions of the hierarchical widget system. The developed redevelopment method, which provides a reduction in the processing time of transaction requests of the hierarchical widget system. Conclusions. The need for dynamic redevelopment of the resource allocation process necessary to support the hierarchical widget system is shown. A method for distributing resources between transactions of a hierarchical widget system while processing unstructured information in non-relational databases is proposed. Optimization was carried out according to the criterion of speedy completion of all transactions by reducing the execution time of long requests., На сегодня актуальна проблема хранения и обработки слабоструктурированных информации. Суть проблемы заключается в том, что слабоструктурированность и большие объемы данных приводят к нарушению требований QoS, в частности, увеличивается время доступа к данным и соответственно увеличивается время ожидания реакции на запрос. Кроме того, существенно возрастают расходы на хранение данных. Предметом исследования являются методы обработки и хранения слабоструктурированных и неструктурированных данных. Цель исследования –разработка метода уменьшения времени доступа к неструктурированным данным путем формирования системы иерархических виджетов и планирования доступа к системным ресурсам множественных запросов транзакций отдельных виджетов, которые создают очереди при доступе к нереляционным хранилищам данных. Результаты. Проанализированы варианты структуры хранилищ данных для обработки и хранения слабоструктурированных данных. Обосновано применение системы иерархических виджетов при работе с множественными запросами. Предложен метод перераспределения очередей к системным ресурсам. Главным критерием при перераспределении выбрано своевременное и скорейшее завершение всех транзакций системы иерархических виджетов. Разработан метод перепланировки, который обеспечивает уменьшение времени обработки запросов транзакций системы иерархических виджетов. Выводы. Показана необходимость динамической перепланировки процесса распределения ресурсов, необходимых для поддержки системы иерархических виджетов. Предложен метод распределения ресурсов между транзакциями системы иерархических виджетов при обработке неструктурированной информации в нереляционных хранилищах. Оптимизация проводилась по критерию скорейшего завершения всех транзакций за счет сокращения времени выполнения длительных запросов., На сьогодні актуальною є проблема зберігання та обробки слабкоструктурованої інформації. Суть проблеми є в тому, що слабкоструктурованість і великі обсяги даних призводять до порушення вимог QoS, зокрема, збільшується час доступу до даних і відповідно зростає час очікування реакції на запит. Крім того, істотно зростають витрати на зберігання даних. Предметом дослідження є методи опрацювання та зберігання слабкоструктурованих та неструктурованих даних. Мета дослідження – розроблення методу зменшення часу доступу до неструктурованих даних шляхом формування системи ієрархічних віджетів та планування доступу до системних ресурсів множинних запитів трансакцій окремих віджетів, що створюють черги при доступі до нереляційних сховищ даних. Результати. Проаналізовані варіанти структури сховищ даних для опрацювання та зберігання слабкоструктурованих даних. Обґрунтовано застосування системи ієрархічних віджетів при роботі із множинними запитами. Запропоновано метод перерозподілу черг до системних ресурсів. Головним критерієм при перерозподілі обрано вчасне та якнайшвидше завершення всіх транзакцій системи ієрархічних віджетів. Розроблений метод перепланування, котрий забезпечує зменшення часу обробки запитів трансакцій системи ієрархічних віджетів. Висновки. Показана необхідність динамічного перепланування процесу розподілу ресурсів, що необхідні для підтримки системи ієрархічних віджетів. Запропоновано метод розподілу ресурсів між транзакціями системи ієрархічніх віджетів при обробці неструктурованою інформації в нереляційних сховищах даних. Оптимізація проводилася за критерієм якнайшвидшого завершення всіх транзакцій за рахунок скорочення часу виконання найтриваліших запитів.
- Published
- 2020