И в школе, и в вузе часто бывает ситуация, когда:

учащиеся одной параллели учатся у разных преподавателей и по разным учебникам;

преподаватели меняются в учебной группе в течение учебного года.

А если так, то усилия по эмпирическому определению сложности заданий теста не приведут к результату, и сложность заданий будет принимать разные значения.

Вычисленная сложность заданий может реально использоваться в дальнейших тестированиях при условии сохранения трех внешних параметров:

личность преподавателя и материал лекций, контрольных работ и пр.;

комплект учебных пособий;

параметры претендентов (т. е. группы учащихся, подвергающиеся тестированию, должны быть статистически неотличимы по характеристикам).

В противном случае, сложность заданий придется пересчитывать после каждого сеанса тестирований перед определением рейтингов. А тогда может произойти казус:

претенденты, тестировавшиеся в составе разных групп и получившие одинаково высокий рейтинг, будут значительно различаться своими характеристиками;

претендент, прошедший тестирование по одному тесту, но в разных группах, получит разный рейтинг.

Один из путей преодоления этих проблем – переход к векторному рейтингу.