Разработка протокола передачи данных для системы управления потоками данных

Abstract

Целью данной магистерской диссертации является формализация протокола, предназначенного для коммуникации компонент базы знаний крупного научного эксперимента и обеспечивающего процесс интеграции гетерогенных данных посредством организации цепочек программ-исполнителей, отвечающих за извлечение данных из внешних хранилищ, их преобразование и загрузку в централизованное хранилище. Реализация базовой сигнальной версии протокола обеспечивает двустороннюю передачу данных между процессами, обрабатывающими большие объемы данных, и управление потоками данных.

The aim of the master’s thesis is a protocol formalization to define the communication process between components of the data knowledge base and to provide an integration process organizing ETL-chains of executing programs. The implementation of the protocol’s basic signal version ensures mutual data transfer between processes working with big data volumes and data streams management.