Таким образом, для учащихся, учившихся в разных учебных группах и в разные периоды времени, веса заданий, вычисленные по результатам тестирований других групп, будут относительно необъективны. Кроме того, опыт работы жюри олимпиад говорит, что, по какой бы системе веса не вычислялись, дополнительной объективности решению жюри это никогда не придает и список призеров от этого меняется мало.

Поэтому «сложность» заданий надо учитывать по-другому. Например, путем перехода к многомерной векторной оценке, векторному рейтингу. Компоненты вектора – рейтинга характеризуют относительный успех претендента в выполнении конкретных групп ТЗ.

Трудоемкость и сложность тестового задания

На узкой дороге тон задает черепаха.

В классической тестологии понятия «трудность» и «сложность» использовали как синонимы. Разные авторы предлагали различать их. В современной тестологии термин «трудность» заменяют на более подходящий – «трудоемкость» (предложено В. П. Беспалько).

Трудоемкость задания – мера количества и длительности предполагаемых операций, необходимых для успешного выполнения задания.

Сложность задания – мера объема и сложности информации, которую должен освоить претендент для того, чтобы выполнить задание.

Если претенденты имеют достаточно времени, чтобы продумать варианты выполнения и не соревноваться в скорости, определяющим фактором становится сложность заданий. Поэтому сложность – наиболее часто используемое слово для характеристики заданий.

Сложность задания зависит от пути изучения учебной темы претендентами (по какому учебнику), от их подготовки и сообразительности. Сложность принимает разные значения для разных выборок претендентов. Одно и то же задание для студента одного вуза может стать неразрешимым, для студента другого – «семечками». Чем больше претендентов, правильно выполнивших задание, тем меньше его сложность для данной группы. На величину сложности могут влиять артефакты, например – накапливающаяся в процессе длительного сеанса усталость или недостаточность времени сеанса. Простое задание могут не выполнить большинство претендентов только потому, что пока они до него добрались, они устали. Или, вообще не успели добраться. Так простое задание с большим номером автоматически формально становится очень сложным.