Веса заданий занимают одно из центральных мест в парадигме IRT. С помощью значений весов темперируют тест, упорядочивают задания по критерию сложности.

Рассмотрим реальную ситуацию. Возьмем тест, составленный в полном согласии с канонами учебной дисциплины и тестологии. Возьмем две группы претендентов, которые прекрасно подготовлены по двум разным учебникам этой дисциплины соответственно. Пусть группы будут разной численности. Разные учебники потому и разные, что разные вопросы дисциплины там освещены по-разному, в том числе и по-разному несовершенно. Следовательно, часть заданий гарантированно правильно выполнят претенденты из первой группы, другую часть – из второй. Тогда, вычисленный после сеанса вес каждого задания окажется зависимым от соотношения численности групп. Сколько бы мы не рассуждали о «репрезентативности», от этой определенности никуда не денешься. Чем меньше претендентов выполнивших конкретное задание, тем выше его вес. Следовательно, при условии равновероятности соответствия заданий тому и/или иному учебнику, вероятность победы выше у тех претендентов, которые принадлежат меньшей группе.

Выбор учебника для учения – дело субъективное. Получается, что значения весов также субъективны. Но тогда зачем тратить столько сил на расчет этих значений?

Период вычислений весов долог. Пока пройдут тестирования сотни и тысячи учащихся проходят недели и месяцы. Но это не вся трудность. За это время в учебных заведениях многое меняется, появляются новые учебники, меняются учебные программы, сами учебные дисциплины становятся другими. «Плывет» основательность знаний учащимися тех или иных разделов дисциплины. При всем этом, естественно, должны меняться и базы заданий. Вместе с базами, должны измениться и значения весов заданий. И это – еще не все аргументы.

В тестологии разъясняют такую ситуацию, т. е. «плывущие» результаты измерений, «нерепрезентативностью» выборки претендентов. Это можно было бы так и оставить, если бы не видны были явные закономерности «заплывов» этих чисел. Можно утверждать: если претенденты мотивированы, а временные интервалы между сеансами достаточно велики и претенденты имеют возможность общения, то после нескольких сеансов мы увидим -

А) веса заданий стремятся стать равными:

Рис. 2.