Об обучении интеллектуальных агентов в виртуальной среде для задачи управления роботом-манипулятором

Abstract

Актуальность. Определяется необходимостью разработки эффективных методов обучения интеллектуальных агентов для задач управления роботами-манипуляторами в виртуальной среде, что критически важно для повышения точности и эффективности промышленных и исследовательских процессов в различных областях. Цель. Реализация, исследование и модификация алгоритмов обучения с подкреплением, таких как Deep Q-Network (DQN) и Proximal Policy Optimization (PPO), для управления агентами в виртуальной среде KukaDiverseObjectEnv на платформе PyBullet с целью создания моделей, способных точно и надежно взаимодействовать с объектами различных классов. Методы. Программирование, эксперименты и синтез, сравнительный анализ. Результаты и выводы. Проведён сравнительный анализ эффективности алгоритмов DQN и PPO, а также модификаций последнего для обучения агентов в конкретной виртуальной среде. Показано, что обученные агенты способны решать поставленную задачу, а модификации позволяют сократить время обучения и количество необходимых шагов в среде. В результате тестирования алгоритмы продемонстрировали приемлемую точность управления манипулятором, что подтверждается на 1000 тестовых эпизодов среды. Реализованные алгоритмы и разработанные модификации обладают потенциалом для использования в промышленных приложениях и дальнейшего развития в реальных условиях, что подчеркивает их значимость для современной робототехники и автоматизации.

Relevance. The necessity for developing effective methods for training intelligent agents in robotic manipulator control tasks in a virtual environment is critically important for enhancing the accuracy and efficiency of industrial and research processes across various fields. Aim. Implementation, investigation and modification of reinforcement learning algorithms, such as Deep Q-Network and Proximal Policy Optimization, to manage agents in the KukaDiverseObjectEnv virtual environment on the PyBullet platform in order to create models that can accurately and reliably interact with objects of different classes. Methods. Programming, experimentation and synthesis, and comparative analysis. Results and conclusions. The authors have carried out comparative analysis of the effectiveness of Deep Q-Network and Proximal Policy Optimization algorithms, as well as modifications of the Proximal Policy Optimization for training agents in a particular virtual environment. It was shown that trained agents are able to solve the assigned task, and modifications can reduce the training time and the number steps required in the environment. As a result of testing, the algorithms demonstrated acceptable accuracy in manipulator control, which is validated on 1000 test episodes of the environment. The implemented algorithms and developed modifications have the potential to be used in industrial applications and further development in real-world conditions, which highlights their importance for modern robotics and automation