Взаимодействие выборки и экспериментального воздействия. Здесь опасность искажения результатов заключена в том, что экспериментальная и контрольная группы, на которых валидизируется тест, существенно отличаются от выборочной совокупности, для которой он предназначен.

Первый вариант. Суть проблемы – в репрезентативности выборки. Особенно если выборка состоит из добровольцев. Их демографические характеристики, успеваемость, психологические особенности можно просчитать и учесть. А как быть с теми, кто отказался быть добровольцем при адаптации теста? Насколько их личностные характеристики адекватны участникам эксперимента?

Второй вариант. Рассмотрим реальную ситуацию. Тест в вузе проходит адаптацию на контингенте четырёх групп с двух факультетов, в то время как на этих факультетах имеются лишь по 4 группы на том же курсе, а всего факультетов в вузе 5; вузов же аналогичного профиля 10. Вопрос о результативности и обоснованности мотивации отбора групп для участия в эксперименте неоднозначен. Смещения выборки повлияют на результатах валидизации, и исследователь рискует получить только данные о локальной валидности теста именно для тех групп, которые участвовали в эксперименте. При валидизации теста в вузе необходимо либо стремиться не к подбору удобных для экспериментаторов послушных кураторских групп, в которых работает сам разработчик теста, а к возможно более репрезентативной выборке, либо проводить массовый эксперимент на всём контингенте курса, изучающего в это время данную дисциплину по данной программе. Если по этой же программе работают в других вузах, то на репрезентативных выборках желательно организовать выверку теста, строго соблюдая внешние условия процедуры, а затем учесть эти данные при сопоставлении результатов и подсчёте валидности.

Третий вариант. Возможен отсев обследуемых по ходу эксперимента из экспериментальной и контрольной групп. Если эксперимент тщательно подготовлен и сбор данных проходит быстро, то такая опасность для валидизации практически ничтожна.

Негативная реакция испытуемых на эксперимент. Реакция испытуемых на эксперимент может быть вызвана любым аспектом процедуры. Например, самим фактом приглашения к участию в эксперименте, которого многие сокурсники не получили. Таинственное появление незнакомых экспериментаторов возбуждает учащихся и повышает вероятность стрессовых ситуаций. Рекомендуется замаскировать эксперимент различными средствами: например, не оповещать о нём, если он внешне похож на привычные мероприятия. Наиболее сложная проблема – обеспечение случайного отбора для получения репрезентативной (по отношению к контингенту, для которого предназначен тест) выборки. Если эксперимент предусматривает индивидуальное обучение (парную работу диагноста с испытуемым), то в разведении класса, учебных групп по аудиториям (экспериментальная – налево, остальные – направо) необходимости нет. При бланковом варианте дидактического тестирования этого избежать можно, но затраты времени возрастут во столько раз, сколько будет участников эксперимента. Возможно, постепенно сократить необходимое количество самих экспериментаторов – они станут быстро инструктировать и оперативнее реагировать на обратную связь. Но это может стать побочным фактором: так, первого испытуемого инструктировали 10 мин, пятидесятого – 2 мин, последнего – скороговоркой. Иногда для смягчения воздействия фактора предоставляют учащимся записываться в вузе на различные факультативы, читаемые в разных помещениях в одни и те же часы. Контроль записи позволяет составлять по этим данным эквивалентные экспериментальные группы и нетрадиционно использовать процесс естественной рандомизации. Наилучшим решением считается использование в качестве единицы рандомизации целых классов – чтобы и экспериментальная, и контрольная группы состояли только из случайным образом отобранных. Следует также обращать внимание, как претенденты принимают саму ситуацию тестирования и задачи разного типа. Игнорирование отношения испытуемых к ситуации эксперимента и степени принятия ими задачи, обычно формулируемой в инструкции, ведет к ошибочной интерпретации результатов и к низкой толерантности разрабатываемых методик. Вполне вероятно, что учащиеся, привыкшие к закрытым тестовым заданиям, будут хуже выполнять их, чем те, кто не имел дела с тестами. Надо знать аудиторию.