Четырех параметрическая модель представляет, по мнению ряда исследователей, лишь теоретический интерес:

где γ — валидность тестового задания.

Если у < 1, то тест не является абсолютно валиднным. Следовательно, вероятность решения задания не только определяется теоретически выделенным свойством, но и зависит от других психических особенностей личности.

Бирнбаум считает, что количество информации, обеспеченное j-м заданием теста, при оценивании θ является величиной, обратно пропорциональной стандартной ошибке измерения данного значения θ j-м заданием. Более подробно вычисление информационной функции рассмотрено в работе М.Б.Челышковой.

Многие авторы, в частности Пол Клайн, отмечают, что IRT обладает множеством недостатков. Для того, чтобы получить надежную и независимую от испытуемых шкалу свойств, требуется провести тестирование большой выборки (не менее 1000 испытуемых). Тестирование достижений показывает, что существуют значительные расхождения между предсказаниями модели и эмпирическими данными.

В 1978 г. Вуд доказал, чтолюбые произвольные данные могут быть приведены в соответствие с моделью Раша. Кроме того, существует очень высокая корреляция шкал Раша с классическими тестовыми шкалами (около 0,90).

Шкалирование, по мнению Раша, способно привести к образованию бессмысленных шкал. Например, попытка применить его модель к опроснику EPQ Айзенка породила смесь шкал N, Е, Р и L.

Главный же недостаток IRT — игнорирование проблемы валидности. В психологической практике не наблюдается случаев, когда ответы на задания теста были бы обусловлены лишь одним фактором. Даже при тестировании общего интеллекта модели 1R.T неприменимы.

Клайн рекомендует использовать модели IRT для коротких тестов с валидными заданиями (факторно простые тесты).

В пособии Клайна "Справочное руководство по конструированию тестов" (Киев, 1994) приведен алгоритм конструирования тестов на основе модели Раша.