Рис. 6.1. Исходное статистическое решение (а), результат повышения надежности (б) и величина различия, необходимая для отвержения нуль-гипотезы (в). На числовых осях: интенсивность плача после ухода матери минус интенсивность плача после ухода ассистентки

Влияние правила решения. До сих пор фигурировало только одно правило решения: нуль-гипотеза отвергается, если вероятность получения различия, при котором нуль-гипотеза верна, меньше 0,05. Вероятность, используемая для отвержения нуль-гипотезы, называется альфа-уровнем. Если применяется более строгий критерий, это означает, что нуль-гипотеза отвергается, если подтверждающая ее разница встречается в меньшей доле случаев. Наиболее часто это 0,01 (1 эксперимент из 100) вместо 0,05 (1 из 20).

Результат использования в правиле решения альфа-уровня 0,01 вместо прежнего 0,05 виден на нижней диаграмме (в) рис. 6.1. (Первоначальная выборка из 15 детей и первоначальные стандартные отклонения здесь сохранены.) При альфа-уровне 0,01 для отвержения нуль-гипотезы требуется различие, большее ±4. При этом более строгом критерии уже нельзя сделать заключение в пользу гипотезы о более сильном плаче с уходом матери.

Способ, каким в большинстве статей сообщается о статистически значимом различии, выглядит так: «p̄<0,05» или «р<0,01». Это означает, что вероятность случаев, когда нуль-гипотеза верна, меньше 0,05 или меньше 0,01. Незначимое различие представляется как «р>0,05» или «р>0,01».