Статистический анализ индивидуальных заданий по теории вероятностей

Abstract

Актуальность работы обусловлена необходимостью непрерывного повышения качества образовательных программ, реализуемых в Томском политехническом университете (ТПУ). Цель работы: показать связь оценок образовательных успехов с характеристиками тестов, контролирующих знания студентов; проанализировать качество тестов, с помощью которых осуществляется мониторинг знаний студентов по теории вероятностей; убедиться в высоком качестве предлагаемых вариантов индивидуальных заданий либо, в противном случае, получить достоверную информацию о конкретных вариантах, требующих улучшения. Методы исследования. Особенности применяемых тестов (малое число задач, ограниченный объем выборки) делают некорректным использование современной теории тестов. В работе использовались статистические методы анализа результатов тестирования. Среди используемых методов можно отметить точечное и интервальное оценивание, кластерный анализ, однофакторный анализ: ранговые критерии и дисперсионный анализ. В работе использовались ранговые методы: тест Крускела-Уоллиса и медианный тест. Обычно после получения статистически значимой оценки F теста, желательно было бы знать парные различия между всеми группами. Тест Шеффе был использован для определения значимой разности между средними значениями групп в дисперсионном анализе. Все исследования проведены с использованием различных модулей программы Statistica 6.1. Результаты. Статистический анализ индивидуальных заданий показал отсутствие параллельности (равносильности) тестов в ряде вариантов индивидуальных заданий. Результаты, представленные в табличном и графическом виде, показали, что все варианты индивидуальных заданий (тестов) можно разделить по сложности на 3 кластера. Применяемые в работе статистические методы показали высоко значимое различие (непараллельность) тестов разных кластеров. В работе предложен способ обеспечения параллельности тестов.

The urgency of the work is caused by the need to improve continuously the quality of educational programs at Tomsk Polytechnic University. The main aim of the study is to show the relation of assessments of educational progress with the characteristics of tests checking students' knowledge; to analyze the quality of the tests for monitoring students' probability theory knowledge; to ensure the quality of the proposed variants of individual tasks or to obtain reliable information on specific variants requiring improvement. The methods used in the study. Features of tests used (a few number of tasks, the limited size of the sample) make the use of Item Response Theory (IRT) invalid. The author has used statistical methods for analyzing test results. Among the methods used the following ones can be noted: sample and interval estimation, cluster analysis, one?way factor analysis: ranking criteria and dispersion analysis. The author used ranking methods: Kruskal-Wallis ANOVA and Median test. Usually, after obtaining a statistically significant F test from the ANOVA, one wants to know which means contributed to the effect; that is, which groups are particularly different from each other. Scheffe's test was used to determine the significant differences between group means in an analysis of variance setting. All investigations were carried out using various modules of the program Statistica 6.1. The results: Statistical analysis showed that tests in some variants of individual tasks are not parallel (equal). The results given in tabular and graphical forms, showed that all the variants of individual tasks (tests) could be divided in three clusters in compliance with complexity of the variants. The statistical methods applied in?process showed highly significant difference (nonparallelism) of tests in different clusters. The paper proposes a method for providing parallel tests.