Динамика результатов педагогических измерений

Наука и религия обязаны принимать догматику.

Этой ценой покупается возможность

получать ответы на поставленные вопросы.

Ю. Шрейдер "Заметки о философии"

Этот параграф посвящен дискуссии о целесообразности некоторых понятий и действий тестологии. В качестве предмета обсуждения мы выбрали понятия «надежность» и «вес задания», а в качестве действий – их измерение.

Прочитав методическое пособие по тестологии, каких немало, начинаешь верить, что одна из главных характеристик педагогического теста – надежность. Тестологи считают надежным (то есть, в просторечии, хорошим) тестом тот, результаты прохождения которого не меняются (или мало меняются), сколько бы раз претендентов не тестировали. Как в технике: хороша та линейка, которая не меняет толщину кирпича в процессе измерения. Ниже мы покажем, что высокая надежность – это как раз тот идеал, которого нельзя достичь в педагогических измерениях в условиях массовых тестирований.

Основной метод измерения надежности – ретестинг, дублирующее тестирование, которое проводят в течение одного или двух сеансов.

В течение одного сеанса повторное тестирование устраивают путем:

либо дублирования заданий в составе теста, представление их в разной форме и разными формулировками;

либо деления теста пополам и принятия утверждения, что половинки эквивалентны.

Если повторное тестирование устраивают в два сеанса, то применяют в обоих случаях один тест либо тесты с подобными, но измененными заданиями (варианты теста). При этом группы претендентов могут быть разными, но должны быть «статистически равными». «Статистическую равность» устанавливают путем предварительного опроса либо предварительного тестирования.

При повторном тестировании в течение одного сеанса, учащиеся часто проявляют смекалку и, наперекор изобретательным составителям теста, находят дубли – одинаковые задания. Дальше они поступают так: если есть уверенность в точности решения, оба раза выбирают один (верный на их взгляд) вариант. Если нет – выбирают разные варианты. Этот простой алгоритм, применяемый мотивированными претендентами, влияет на чистоту эксперимента однозначно: значение «надежности» завышается.