Агрегирование и обработка текстовой информации с нефиксированной структурой

Abstract

Данный документ посвящен исследованию агрегирования и анализа текстов на предмет формирования тем всех документов в целом. Целью работы является исследование возможности агрегирования и анализа текстов при помощи решения задачи тематического моделирования через построение иерархической модели методами индуктивного обучения, а также реализация низкоуровневого компонента иерархической системы. Актуальность работы заключается в возможностях исследования и использования нового метода анализа текстов, базирующегося на иерархическом подходе к анализу. В работе рассматривались следующие вопросы: - Обзор предметной области - Проектирование решения - Реализация низкоуровневого компонента В результате была спроектирована система для агрегирования текстов, и реализована ее низкоуровневый компонент.

This document focuses on the study of the aggregation and analysis of texts in order to form the themes of all documents in general. The purpose of this work is to study the possibility of aggregation and analysis of texts by solving the problem of topic modeling with hierarchical model using inductive learning methods, and implementation of a low-level component of a hierarchical system. The relevance of the work lies in the possibilities of research and the use of a new text analysis method based on a hierarchical approach to analysis. The work addressed the following questions: - Overview of the subject area - Software design - Implementation of the low-level component As a result, a system was designed for aggregation of the texts, and its low-level component is implemented.