Саша, никогда не оправдывайтесь!

Это вызывает подозрения

Эммануил Виторган (в одном из сериалов)

Считается, что процедуры измерения и оценивания умений учащихся, за исключением простых и поддающихся формализации случаев, пока автоматизировать не представляется возможным. Эта область деятельности пока подвластна только человеку, и педагоги здесь правы, отстаивая здесь свой человеческий приоритет перед машиной.

Систематические ошибки в тестировании

Не верю!

К. С. Станиславский

Систематическая ошибка называется систематической потому, что она присутствует в результате всегда, систематически, при наступлении определенных условий. Она не является случайной, вызванной неконтролируемыми изменениями внешних параметров. Это – характеристика теста, которую можно контролировать и учитывать.

Иногда бывает так, что проще определить и учесть величину систематической ошибки, возникающей в конкретных ситуациях, чем исправить тест. Ведь исправленный тест тоже может характеризоваться систематическими ошибками, которые еще не определены.

Систематическая ошибка теста – это важная его характеристика, связанная, например, с:

различием валидности теста, измеренной для разных групп претендентов (ошибка наклона) и

соотношением между групповыми значениями измеренных характеристик по тесту и по критерию (ошибка интерцепта).

Эти понятия используются для акцентирования того, что заложено в тесте, – в противоположность возможной случайной ошибке. Это в значительной степени связано со спецификой выборки, на ко торой адаптируется тест. Рассмотрим эти понятия более подробно.

Систематическая ошибка наклона. Различие коэффициента валидности теста для двух групп обследуемых может быть связано с использованием в роли критерия субъективных оценок. Систематическая ошибка на клона теста может возникать и при сравнении выводов об эффективности его применения на представителях разных этнокультурных, социальных и профессиональных групп. Зависит она и от величины их выборки. Необходимо устанавливать различия между коэффициентами валидности для разных выборок. Если такие различия существенны (например, в тесте по химии в русскоязычных и национальных группах), то лучше всего проверить тест еще раз на двух независимых выборках, для того чтобы выяснить, действительно ли эти различия столь существенны. Если отклонения вызваны спецификой данного контингента обследуемых, то следует, просчитав эту систематическую ошибку наклона, учитывать ее при анализе полученных тестовых данных и при принятии педагогами решений об отсеве, распределении учащихся.