Итак, в научных экспериментах мы не можем обойтись без проверки на значимость.

Разновидности риска и типы ошибок

Поскольку нам известно, что реальные эксперименты не бывают ни идеальными, ни бесконечными, мы знаем, что некоторые из наших решений окажутся ошибочными независимо от применявшегося правила решения. Может быть, Флинер и Кернс не следовало отвергать нуль-гипотезу для старшей группы. Может быть, нуль-гипотеза была верна. Если бы они использовали 0,01 альфа-уровень, они не смогли бы отвергнуть нуль-гипотезу. И было бы прекрасно, если бы нуль-гипотеза и в самом деле была правильной. Ну а что, если нет? При обоих альфа-уровнях они рисковали бы — но противоположным образом.

Ошибки I типа. Первый риск состоит в возможности ошибки I типа: отвержение нуль-гипотезы, когда она верна. Если исследователь использует в правиле решения уровень 0,05, это означает, что он готов сделать такую ошибку не более чем в пяти процентах его экспериментов. Когда он затем принимает отвержение нуль-гипотезы в качестве подтверждения экспериментальной гипотезы (например плач более сильный при уходе матери), это показывает его чрезмерный оптимизм. Ведь существует 1 шанс из 20, что такое доказательство ошибочно.

В любом эксперименте, направленном на проверку совершенно новой гипотезы, противоречащей общепринятому представлению, можно посоветовать быть более осторожным. Ломать научные традиции — вещь очень серьезная, и для этого нужно быть абсолютно уверенным в своих фактах. В таких случаях рекомендуется использовать более строгое правило решения, с 0,01 альфа-уровнем. Наука еще может выдержать 1 процент результатов, которые ошибочно приняты за подтверждающие экспериментальную гипотезу, но 5 процентов — это уж слишком!

Ошибки II типа. Если мы настаиваем на 0,01 альфа-уровне (или даже более строгом уровне, таком, как 0,001), появляется новый риск: наше желание быть абсолютно уверенными может привести нас к ошибочному неотвержению нуль-гипотезы, когда она на самом деле неверна. Вполне естественно, что это называют ошибкой II типа. Если нуль-гипотеза ошибочна, верна должна быть какая-то другая гипотеза. Риск не отвергнуть нуль-гипотезу, когда верна другая гипотеза (например определенное различие в плаче при уходе матери и ассистента), может быть также выражен через вероятность, называемую бета-уровнем.