Оценка релевантности текста для географической диверсификации компании

Abstract

Машинное обучение эффективно используется для автоматизации решения интеллектуальных задач, что позволяет снизить издержки, сократить объем рутинных операций. Методы проведения исследования: теоретические (изучение литературы, обзор существующих методов и моделей анализа) и практическое применение методов машинного обучения для построения модели. Полученные результаты: Сформулированы критерии релевантности: 1) явное указание, 2) контактная информация, 3) логический вывод из текста 4) логический вывод из числовой информации. С применением различных методов обработки текста: а) TF-IDF, б) word2vec, в) doc2vec построены модели на основе классификаторов: 1) наивный байесовский классификатор, 2) логистическая регрессия, 3) градиентный бустинг над решающими деревьями.

Machine learning is effectively used to automate the solution of intellectual tasks, which allows you to reduce costs, reduce the amount of routine operations. Research methods: theoretical (study of literature, review of existing methods and models of analysis) and practical application of machine learning methods for building a model. The obtained results: Relevance criteria are formulated: 1) explicit indication, 2) contact information, 3) logical conclusion from the text 4) logical conclusion from the numerical information. Using different methods of text processing: a) TF-IDF, b) word2vec, c) doc2vec models based on classifiers are constructed: 1) naive Bayesian classifier; 2) logistic regression; 3) gradient boosting over deciding trees.