Использование различных вычислительных систем для решения задачи автоматической классификации облачности по спутниковым данным MODIS на основе вероятностной нейронной сети

Abstract

Актуальность исследования обусловлена необходимостью разработки алгоритмов и программных средств для классификации типов облачности по спутниковым снимкам однослойной облачности, полученных с помощью спектрорадиометра MODIS, используемого аппаратами дистанционного зондирования Земли Terra и Aqua, и высокопроизводительных систем. Цель работы: эффективный и быстрый анализ спутниковых снимков размерами 5416?8120 пикселей однослойной облачности, полученных с помощью спектрорадиометра MODIS с помощью вероятностной нейронной сети, для классификации облачности по 27 типам. Методы исследования. Для достижения цели применяются методы распараллеливания вычислений, нейросетевые вычисления, методы компьютерного зрения и анализа текстур, алгоритмы классификации, технологии высокопроизводительных вычислений для многоядерных систем с общей памятью (OpenMP), графических процессоров (CUDA) и распределенных систем (MPI). Результаты. Процедура классификации, основанная на вероятностной нейросетевой модели, сравнивает фрагменты снимка с эталонами, полученными ранее и классифицированными экспертами. Для корректного анализа фрагмента изображения его требуется сравнить с тысячами эталонов, что приводит к существенным временным затратам. Характер вычислений позволяет разбить входной снимок на несколько более мелких и обработать их независимо на разных вычислительных устройствах или устройствах, поддерживающих одновременное выполнение разных задач. В работе сравнивается производительность трех подходов к распараллеливанию вычислений: на основе многопоточных вычислений, выполняемых многоядерными центральными процессорами, многопоточных вычислений внутри мультипроцессоров графических ускорителей и распределенной обработки на базе кластера. Для последнего случая, в котором вычислительные задачи разделяются уже не между потоками, а процессами с индивидуальными адресными пространствами, было предложено два подхода к решению проблемы: на основе разделения задач и разделения данных. Для каждого варианта параллельной обработки приведены детальное описание и оценка его производительности при анализе полноразмерного снимка MODIS. Показано, что использование распределенной обработки и/или графических ускорителей при решении задачи классификации однослойной облачности, основанной на вероятностной нейронной сети, имеет существенное преимущество по производительности не только по сравнению с классическим алгоритмом, но и его модификацией для многоядерных центральных процессоров.

The relevance of the research is caused by the necessity to develop algorithms and software to classify the cloud types based on single-layer cloud on the satellite images received from MODIS spectral radiometer used in Terra and Aqua remote sensing Earth satellites with the usage of high-performance systems. The main aim of the study: effective and fast analysis of 5416-8120 single-layer cloud full scale satellite images received from MODIS spectral radiometer with the help of the probabilistic neural network detecting 27 cloud types. The methods used in the study. To carry out the task the authors used the methods of paralleling the processing, neurocomputing, computer vision and texture analysis algorithms, classification algorithms, technologies of high-performance processing for multi-core shared memory systems (OpenMP), graphics processing units (CUDA) and distributed systems (MPI). The results. The classifying procedure based on probabilistic neural model compares all the fragments from the given image with the patterns from the training set classified by experts. It needs to compare texture features of each fragment with features of some thousands patterns and therefore it leads to significant time costs. The algorithm allows splitting the given input into a set of small images that can be processed independently by some computational devices and devices supporting the processing of simultaneous tasks. The paper compares the performance of three approaches for parallel processing that are multi-thread computation based on multi-core central processing units (CPUs), multi-thread computation based on graphics processing units (GPUs) and distributed processing implemented by computational cluster. The latter uses worksharing between different processes with independent address spaces and the approach includes two methods for speed-up the processing based on data distribution and task sharing. Each approach was described in detail and its performance was estimated by analysis of MODIS' full scale image. It's shown that the usage of distributed processing or/and multi-thread GPU computation for performance of single-layer cloud classification task based on probabilistic neural model has significant performance advantages not only in comparison with the classic sequential algorithm but also with its multi-thread version for many-core CPUs.