К фактором, ставящим под угрозу чистоту тестовых измерений, относят (Михайлычев Е. А. Дидактическая тестология. М.: Народное образование, 2001. 432 с.):

реактивный эффект – уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием предварительного тестирования;

взаимодействие выборки и экспериментального воздействия;

условия организации эксперимента, вызывающие реакцию испытуемых, которая не позволяет распространить полученные данные о влиянии на лиц, подвергающихся такому же воздействию в не экспериментальных условиях;

интерференция экспериментальных воздействий, возникающая, когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних, как правило, не исчезает.

Рассмотрим эти факторы подробнее, следуя Е. А. Михайлычеву:

Реактивный эффект. Проявляется в двух вариантах.

Первый вариант. Учащиеся тренировались на прохождение тестов по-разному. На тренировки ходили не все, а для тех, кто тренировки посещал, различные преподаватели акцентировали внимание на тестах разного вида. При валидизации абитуриентских тестов без учета этого фактора эффект гарантирован. Можно контролировать эффект, если:

предварительно опросить учащихся о тренировочных занятиях;

параллельно проводить визуальное наблюдение за поведением претендентов и сопоставлять данные, собираемые по программе такого формализованного наблюдения, с данными анкетирования. Не исключено использование видеокамеры при условии, что она будет хорошо замаскирована (иначе получим дополнительный «визит-эффект» с непредсказуемыми последствиями – от жалоб до истерик).

Это позволит сделать и повысить точность поправки.

Второй вариант. Имеется хорошее психодиагностическое сопровождение, настраивающее обследуемого на успешную работу с дидактическим тестом. Вариант сделать такое сопровождение для учащихся привычным – заманчив. Но в контрольных группах возможен отказ от применения сопровождения, что влияет на результат. После стандартизации теста – его валидизации, строгой проверки надёжности, когда будут просчитаны все основные поправочные коэффициенты (в том числе на реактивность к психодиагностическому сопровождению по данным контрольных групп или ретеста, параллельной формы теста), психодиагностику можно будет спокойно подключать к дидактическому тесту и использовать как стимулирующие средства обучения. Ведь с позиции гуманистической педагогики главная диагностическая задача – не поймать учащегося на незнании, а помочь ему усвоить материал, развить мышление и способности.