Разработка алгоритмического и программного обеспечения модуля автоматизированного извлечения контента веб-ресурсов

Abstract

Проектирование и разработка программного модуля для извлечения данных с веб-ресурсов для исследования общественного мнения. Разработанный модуль осуществляет сбор данных с веб-ресурсов, по методам RSS-запросов и фреймворка Twitter4J, а также предварительную обработку данных по средствам синтаксического анализа. Общение с другими модулями происходит через базу данных в которую происходит выгрузка данных после предварительной обработки.

Designing and developing a software module for retrieving data from web resources for research of public opinion. The module developed collects data from web resources, RSS-queries methods and Twitter4J framework, as well as pre-processing data on parsing tools. Communication with other modules occurs through the database in which the data is downloaded after pre-processing.