Мультимодальная интеллектуальная система поддержки принятия решений для повышения промышленной безопасности объектов нефтегазовой отрасли

Abstract

Актуальность. Обеспечение промышленной безопасности на объектах нефтегазовой отрасли требует одновременного контроля технологических параметров, состояния оборудования, действий персонала и ранних признаков внештатных ситуаций. На практике эти данные часто остаются распределенными между самостоятельными подсистемами: видеонаблюдением, пожарной сигнализацией, газоанализом, СКУД и промышленной автоматикой. В результате оператор получает не единую картину риска, а набор разнородных сигналов, которые необходимо быстро сопоставлять по времени, месту и смыслу. Цель: обоснование подхода к созданию локальной мультимодальной интеллектуальной системы поддержки принятия решений, объединяющей видео-, аудио- и сенсорные данные. Методы. Методологическую основу работы составляют системный анализ, концептуальное моделирование, мультимодальное слияние данных и принципы микросервисной архитектуры. Результаты. Предложена модель системы, включающая слой сбора данных, предварительную обработку, модули компьютерного зрения, аудиоаналитики и сенсорной диагностики, шину сообщений RabbitMQ, корреляционный агрегатор, модуль поддержки принятия решений и интерфейс оператора. Показано, что перекрестная верификация событий по нескольким независимым источникам способна повысить достоверность тревожных сообщений и снизить нагрузку на оператора. Научная значимость работы связана с формализацией подхода к совместной интерпретации разнородных данных, а практическая - с возможностью применения локальной архитектуры на объектах критической информационной инфраструктуры

Relevance. Ensuring industrial safety at oil and gas facilities requires simultaneous monitoring of process parameters, equipment status, personnel actions, and early warning signs of emergency situations. In practice, this data often remains dispersed among independent subsystems: video surveillance, fire alarms, gas analysis, access control systems, and industrial automation. As a result, the operator receives not a unified risk picture, but a set of disparate signals that must be quickly correlated by time, location, and meaning. Aim. To substantiate an approach to creating a local multimodal intelligent decision support system that combines video, audio and sensory data. Methods. The methodological basis of the work is system analysis, conceptual modeling, multimodal data fusion, and microservice architecture principles. Results. The authors have proposed a system model, including a data collection layer, preprocessing, computer vision, audio analytics, and sensor diagnostics modules, a RabbitMQ message bus, a correlation aggregator, a decision support module, and an operator interface. It is demonstrated that cross-verification of events across multiple independent sources can improve the reliability of alarm messages and reduce operator workload. The scientific significance of this work lies in the formalization of an approach to the joint interpretation of heterogeneous data, while its practical significance lies in the feasibility of applying a local architecture to critical information infrastructure facilities