Алгоритмы процедурной генерации реалистичных лицевых анимаций для антропоморфных виртуальных агентов с применением методов машинного обучения

Abstract

Алгоритмы генерации лицевой анимации трехмерных антропоморфных моделей с помощью аудио хорошо представлены, однако их использование не позволяет стабильно получать реалистичное поведение мимики в режиме реального времени. В работе рассматриваются различные подходы к созданию анимированной лицевой мимики на основе лицевых точек и эмоционального состояния с применением машинного обучения. Комбинация представленных аудиовизуальных подходов позволяет получать результат, способный работать в динамической окружающей среде с заранее неизвестными параметрами, к примеру локализованные текст и/или речь, ответные реакции системы, а также использоваться для решения задач, таких как аватары виртуальной реальности, персонажи интерактивного кино или видеоигр т.д.

Today algorithms for facial animation of 3d-avatar based on speech-driven technology are well presented. However, their use does not allow consistently obtaining realistic behavior of facial expressions in real time: problem with micro-expressions, eyes-moving and etc. The paper discusses various approaches to creating realistic animated facial animation based on facial points and emotional state with machine learning methods. The combination of audiovisual approaches makes possible to obtain a system that can work in a dynamic environment (e.g. localized text and/or speech with various environment responses) The results can be used for solving animation problems in few areas such as virtual reality avatars, characters of interactive cinema, video games and etc