Поэтому, например, утверждение о том, что знания учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправомочным, некорректным. Тем более некорректно утверждение, встреченное автором в одной из диссертаций, что эффективность экспериментальной методики в 2,6 раза выше контрольной (была произведена оценка по 10балльной шкале).

Чтобы продемонстрировать, что может получиться с использованием «среднего» балла, приведем такой гипотетический пример. Пусть исследовалась сравнительная эффективность двух каких-либо методов обучения, А и В. В обеих группах учащихся — контрольной и экспериментальной — было по 80 человек. Оценки проводились по двум шкалам — пятибалльной и десятибалльной (ведь количество баллов в шкале устанавливается произвольно). При этом будем предполагать, что оценки по десятибалльной шкале могут быть пересчитаны в оценки по шкале пятибалльной: оценки «10» и «9» будут отнесены к «5», «8» и «7» — к «4» и так далее. Пусть оценки по десятибалльной шкале распределились следующим образом (в числителе будет указано количество учащихся, получивших соответствующую оценку в группе, обучавшейся методом А, в знаменателе — методом В:

 20 0 30 0 20 0 10

 «10» ¾; «9» ¾; «8» ¾; «7» ¾; «6» ¾; «5» ¾; «4» ¾;

 0 30 0 30 0 30 0

оценки «3», «2», «1» не получил никто. Соответственно «средний балл» составит 7,50 (метод А) и 7,25 (метод В). Казалось бы, можно сделать вывод, что метод А лучше метода В. Соответственно оценки по пятибалльной шкале, в

 20 30 20 10 0

том же порядке: «5» ¾; «4» ¾; «3» ¾; «2» ¾; «1» ¾ .

 30 30 20 0 0

«Средний балл» в этом случае составит 3,750 в группе, обучавшейся методом А, и 4,125 в группе, обучавшейся методом В. Таким образом мы получили противоположный «результат» — метод В лучше метода А.

Заметим, что этот «парадокс» никак не связан со статистической достоверностью различий — он будет иметь место и при очень больших выборках данных (числе учащихся). Просто это свойство слабой шкалы измерений. Сказанное будет относиться и к любым другим критериям оценки, использующим шкалу порядка.