Элемент а в этой табличке - это число испытуемых, попавших в «высокую» группу по тесту и по критерию, элемент b - число испытуемых, попавших в высокую группу по тесту, но в низкую группу по критерию и т. д.

Очевидно, что при полной валидности теста элементы b и с таблички должны быть равны нулю. То есть тест не должен давать ошибок - говорить о том, что ученик низкодисциплинированный, когда учителя говорят о том, что ученик высоко дисциплинированный (случай с).

Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда:

При численности протестированной группы в 30 человек (это минимальная выборка для проверки валидности) статистически значимую связь теста с критерием мы можем констатировать, когда Phi>=0,36. Хотя это, конечно, очень невысокая валидность, но все же тест в этом случае дает значимо лучшие результаты, чем случайное гадание. То есть если в вашем учебном заведении есть конкурс и вы хотите отобрать не только одаренных, но и дисциплинированных учащихся, вы можете использовать тест, валидность которого вы проверили, и она оказалась значимой.

Но... Метод «известных групп» обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. Дело в том, что при формировании «известных групп» оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест дня прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, обладают указанным недостатком. Они прошли в лучшем случае проверку по методике «известных групп» и не обладают так называемой ПРОГНОСТИЧЕСКОЙ ВАЛИДНОСТЬЮ (или по крайней мере эта валидность строго экспериментально не доказана). Конечно, на местном уровне задачу обеспечения прогностической валидности не решить. Это под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать примерно на порядок больше испытуемых - не 30, а минимум 300. Ведь мы просто не знаем, кто из этих 300 попадет в будущем в крайние группы.