Для повышения надежности тестологи рекомендуют провести предварительный опрос претендентов. Можно ли поверить, что большинство «претендентов» правдиво ответят перед сеансом на вопросы:

Не знает ли он из каких-либо источников верных вариантов выполнения заданий?

Не проходил ли он это тестирование ранее и сколько раз?

Будет ли он проходить тест как следует, или просто потыкает в клавиши?

Нет. Они не заинтересованы в правдивом ответе по разным причинам. Такой опрос имеет лишь умозрительный интерес, его результату нельзя доверять.

Человек – не машина. Результат измерения свойств человека зависит от применяемого инструмента и самого процесса измерения. А свойства человека меняются в зависимости от количества и последовательности измерений. Следовательно, теряется смысл скрупулезного взвешивании сложности и трудоемкости заданий применительно к группам претендентов с неизвестной предысторией.

Есть ли смысл в изменении свойств инструмента измерения применительно к разным группам претендентов? Да. Во всяком случае, физики часто так поступают, измеряя свойства разнородных веществ. Но при этом должны быть адекватными процедуры пересчета результатов, чего, как мы видим, добиться довольно сложно в массовых тестированиях.

Интуитивно ясно, что наличие ошибки в программе

не скажется на результатах тестирования;

если содержащая ошибку программная компонента

при тестировании не выполнялась.

Дж. Хуанг

Измерения надежности в тестологии напоминают квантовомеханические эксперименты, где прибор неизбежно взаимодействует с системой в процессе измерения и меняет систему. И чем точнее прибор – тем сильнее он систему меняет. Физики наработали неплохой опыт, и им нужно пользоваться. Например, понятия дуальности характеристик и соотношения неопределенностей, вероятно, могли бы сослужить хорошую службу тестологии.

Подобно квантовой механике, тестологическая теория должна объединить в рамках изучаемой системы и тест, и технологию тестирования, и проходящих сеанс тестирования претендентов, и тех претендентов, которые ожидают своей очереди, и окружение претендентов (учителей и иных советчиков, продавцов шпаргалок и пр.). Нельзя адекватно описать поведение урезанной системы, рассматривая только совокупность невзаимодействующих претендентов и теста.