Как бы не старались экспериментаторы соблюсти чистоту эксперимента при тестировании в два сеанса:

учащиеся почему-то вдруг начинают консультироваться с преподавателем, читать учебники и повышать свои знания в перерывах между сеансами;

учащиеся выходят после сеанса и рассказывают стоящим в очереди «новичкам» смысл заданий и вероятные решения;

учащиеся почему-то учатся в разных школах и невозможно предсказать заранее, чему их там учили лучше или хуже;

учащимся может все надоесть, и они начнут тестироваться методом «тыка» (кстати, самый лучший метод получения надежных результатов).

Технология тестирования, тот антураж, который создается вокруг сеансов, обязательно приводит к усилению и ослаблению мотивации претендентов к успеху. По-другому не бывает, ведь тестирование – образовательный акт. Мотивация играет важнейшую роль в измерениях надежности. Мотивация непосредственно влияет на величину коэффициента надежности.

Если претенденты не мотивированы – результаты измерения сконцентрируются у точки случайного «тыка» области определения результатов тестирования:

Рис. 1.

Сколько бы сеансов не проводил экспериментатор – результаты там и останутся. Это – тривиальный вариант; здесь, после измерения, надежность теста получится очень высокой.

Если претенденты мотивированы, во втором сеансе средний результат будет выше. Таковы люди. Изменить их трудно. Они – не машины. Одинакового результата не получается. Остановить изменения результатов не удается, каким бы прекрасным не был используемый тест. Проведите третье тестирование, и Вы увидите – результаты «плывут», причем, для разных претендентов – в разные стороны. Чем выше мотивация претендентов – тем ненадежнее тест. Надежных, в смысле прямого следования определению, дидактических тестов не бывает.

Парадокс: чем выше дидактические качества технологии тестирования, чем более она усиливает мотивацию претендентов к дополнительному обучению, тем она ненадежнее. Тестирование, как часть учебного процесса, должно нести дидактическую нагрузку. Какую технологию тестирования выберет педагог: усиливающую или снижающую мотивацию учащихся?

Если какая-нибудь неприятность

может произойти, она случается.

Артур Блох. Закон Мэрфи