Моделирование искусственных нейронных сетей с помощью графического адаптера общего назначения

Abstract

Актуальность работы обусловлена тем, что искусственные нейронные сети, будучи наиболее успешным подходом к решению некоторых задач искусственного интеллекта, предъявляют высокие требования к вычислительным ресурсам. При этом в большинстве случаев именно высокая вычислительная нагрузка оказывается ограничивающим фактором, снижающим на практике функциональность и применимость аппарата искусственных нейронных сетей. Цель работы: повышение эффективности при решении задач искусственного интеллекта с применением искусственных нейронных сетей путём увеличения производительности моделирования за счёт применения высокопараллельных вычислений на графическом адаптере общего назначения. Методы исследования. Теоретические исследования выполнены с использованием теории параллельных вычислений, теории графов, векторной алгебры и методов системного анализа. В ходе экспериментальных исследовании осуществлена апробация программного комплекса системы анализа изображений с использованием предложенных подходов. Результаты. Предложен подход для моделирования нейронных сетей различных архитектур с высокой степенью параллелизма обработки, позволяющий перенести вычисления на графический адаптер общего назначения, заключающийся в группировке связей между нейронами по признаку их параллелизма по времени обработки. Такая группировка позволила заранее определить, какие вычислительные задачи могут выполняться параллельно и какие последовательно, что заметно упростило перенос вычислений на графический адаптер, а также позволило реализовать пакетную обработку, ускоряющую вычисления и на центральном процессоре. Достигнутый коэффициент ускорения обработки за счёт использования параллельных вычислений на графическом адаптере достигает коэффициента отношения его пиковой теоретической производительности к таковой характеристике центрального процессора, что говорит о высокой эффективности предложенного подхода.

The relevance of the discussed issue is caused by the high computational load generating by an artificial neural network simulation, while the latter is the most successful solution for several AI tasks. In most cases, the high computational load of artificial neural network simulation causes a decline of its functionality and restricts its applicability. The main aim of the study is to improve the efficiency of resolving the AI tasks using artificial neural networks by improving simulation performance applying parallel computations on general purpose graphics processing unit. The methods used in the study. The theoretical researches were carried out using concurrency theory, graph theory, vector algebra and methods of systems analysis. During the experimental study the authors tested an image analysis system software complex that uses the proposed approaches. The results. The authors proposed an approach to simulate the variety of artificial neural networks with high degree of parallelism, which is based on specific precomputation of the groups of compute-time parallel connections between neurons. This group defines explicitly what parts of overall computational task can be performed in parallel. The approach allows transferring as well a computational load to graphics processing unit and performing a batch processing on central processing unit. The achieved performance speed-up ratio reaches the ratio of GPU peak theoretical performance to that of CPU indicating the high efficiency of the proposed approach.