Оценка использования инструментов библиотеки SpaCy и DeepPavlov для задачи извлечения именованных сущностей из описаний результатов осмотров пациентов с COVID-19

Abstract

Актуальность. Определяется необходимостью выделения значимых признаков из электронных медицинских записей для автоматизации оценки состояния больных. Цель. Оценка возможности выявления именованных сущностей в электронных описаниях осмотров пациентов с COVID-19 с помощью модели BERT из библиотек SpaCy и DeepPavlov. Методы. Глубокое обучение, статистические методы. Результаты и выводы. Выполнено исследование настройки нейросетевых моделей BERT из библиотек SpaCy и DeepPavlov для аннотирования документов «Осмотр пациентов лечащим врачом» с целью выделения следующих предикторов оценки состояния пациентов: температура, артериальное давление, частота дыхательных движений, частота сердечных сокращений и сатурация. Настройка и оценка эффективности архитектур производилась на основе разметки 340 обезличенных электронных медицинских записей пациентов, болевших COVID-19, полученных с помощью сервиса SibMED Data Clinical Repository. Показано, что настройка моделей на количестве около 150 размеченных документов позволяет определять указанные предикторы в таких текстах с точностью (Precision) 85-98 % и с полнотой (Recall) 77-98 % в зависимости от предиктора. Метрики качества работы архитектур из выбранных библиотек различались незначительно. Отмечено, что итеративное расширение обучающей выборки в результате эксплуатации моделей с последующей донастройкой приводит к повышению результативности моделей

Relevance.Determined by the need to extract significant features from electronic medical records to automate the assessment of patients' condi-tion.Aim. Assessing the possibility of identifying named entitie in electronic descriptions of examinations of patients with COVID-19 using the BERT model from the SpaCyand DeepPavlov libraries.Methods.Deep learning, statistical methods. Results and conclusions. The authors havecar-ried out a fine-tuning study on BERT neural network models from the SpaCy and DeepPavlov libraries to annotate documents "Examination of pa-tients by the attending physician" in order to highlight the following predictors of patient assessment: temperature, blood pressure, respiratory rate, heart rate and saturation. Configuration and evaluation of the effectiveness of the architectures was carried out based on the markup of 340 anon-ymized electronic medical records of patients with COVID-19, obtained using the SibMED Data Clinical Repository service. It is shown that setting up models on a number of about 150 labeled documents makes it possible to determine the specified predictors in such texts with accuracy (Preci-sion) of 85-98% and completeness (Recall) of 77-98%, depending on the predictor. The quality metrics of the architectures from the selected li-braries differed slightly. Iterative expansion of the training set as a result of the operation of models with subsequent additional tuning leads to an increase in the effectiveness of the models