Архитектура современных систем управления научным экспериментом в области обработки больших данных

Abstract

История развития систем управления экспериментом насчитывает порядка 25 лет - от небольших прототипов десктопных приложений до масштабируемых распределенных систем. EMS-системы становятся все более популярными, а их устройство - все более сложным. Новым этапом развития EMS-систем послужило начало «эры больших данных», чьи обработка, анализ и хранение происходят в условиях специальной экосистемы. Экосистема больших данных подразумевает наличие новых элементов, которые должны быть учтены при проектировании EMS-системы для поддержки полного жизненного цикла данных. Одним из ключевых вызовов является обобщение тех EMS-систем, которые возникали и изменялись по мере развития сопутствующих технологий, при этом на текущий момент не существует единого паттерна проектирования таких систем ввиду специфики каждого конкретного проекта, под который создается подобная система. В данной работе представлена концептуальная высокоуровневая архитектура EMS-системы как пример унифицированного паттерна, подходящего для экосистемы больших данных. Важно отметить, что предлагаемый паттерн не подразумевает работу с использованием грид-систем

The history of the development of experiment managemant systems has about 25 years - from small prototype desktop applications to scalable distributed systems. EMS systems are becoming more popular and more complex. A new stage in the development of EMS systems was the beginning of the «era of big data», which processing, analysis and storage take place in a special ecosystem. The big data ecosystem implies new elements that must be taken into account when designing an EMS system to support the full data lifecycle. One of the key challenges is to generalize those EMS systems that have arisen and changed as related technologies have developed, while, at the moment, there is no single design pattern for such systems due to the features of each specific project for which such a system is created. This paper presents a conceptual high-level architecture of an EMS system as an example of a unified pattern suitable for a big data ecosystem. It is important to note that the proposed pattern does not imply work using grid systems