Артефакты

Норма – это то, что встречается лишь изредка

Сомерсет Моэм,

(aforizm.kaminplus.ru)

Большое влияние на результаты тестового контроля оказывает так называемый эффект «привыкания». Он выражается в начале сеанса тестирования, где применяется тестовый комплекс с непривычным для претендента интерфейсом: замедление реакции, повышение суетливости, повышение вероятности арифметических и орфографических ошибок, неверные манипуляции. Это может быть связано и с тем, что претендент

не знаком с инструкций и порядком проведения процедуры;

участвует в тестированиях часто, но с использованием иных комплексов, и ему требуется некоторое время для освоения нового интерфейса;

уже тестировался с использованием данного комплекса, но база тестовых заданий изменилась – создана другими авторами, оформлена в другом литературном стиле или содержит непривычные жаргонные выражения.

Исключить влияние «привыкания» на результаты тестирования несложно – нужно провести предварительное тестирование, дать претендентам освоиться. Согласно нашим измерениям, для этого достаточно от 5 до 10 минут.

Кроме этого, результаты могут быть искажены по приведенным ниже причинам.

Группа претендентов предварительно ознакомилась с заданиями теста. Это может произойти случайно, когда им просто «попалась» книга с подобной информацией или репетитор провел тренировку, опираясь на сыгравшую нужную роль интуицию, и намеренно, когда произошла утечка информации. В обоих случаях на кривой распределения результатов тестирования может «вырасти» удивительный «горб». Методы дезавуирования этого артефакта известны и приведены ниже в главе посвященной информационной безопасности.

Тест не вариативен и правила допускают повторные сеансы. В этом случае, претендент, прошедший сеанс два-три раза, да с основательными перерывами на общение с книгой и преподавателем, находится в выигрышной ситуации. Кривая распределения «оживет», с каждым сеансом в конце ее будет увеличиваться «горб». Для устранения перекоса, следует поставить всех претендентов в равные условия: все тестируются вместе, варианты теста меняются, желательно с применением процедур случайного выбора. В росте «горба» должны иметь возможность принять участие все претенденты. Такой многосеансный «марафон» может принести и положительные плоды, естественным образом дифференцировав претендентов на «упорных», «безразличных» и «середнячков».