Когда мы судим о валидности экспериментальных заключений на основе статистических решений (хорошо или плохо они были использованы или они вообще были неверно проигнорированы), мы должны предполагать, что все ранее рассмотренные аспекты валидности удовлетворительно реализованы. Вам следует об этом хорошо помнить или еще лучше — «зарубить себе на носу».

КРАТКОЕ ИЗЛОЖЕНИЕ

Большие различия в действии разных условий независимой переменной приводят экспериментатора к выводу о подтверждении экспериментальной гипотезы. Меньшие различия интерпретируются как случайный результат. Основанием для таких различных выводов является статистическая значимость. Более конкретно это означает, что если бы в идеальном или бесконечном эксперименте различие отсутствовало, то было бы мало вероятно получить в конкретном эксперименте большое различие, не так невероятно — меньшее различие.

В научных экспериментах — в отличие от тех, где существует только два практических исхода — возможны три заключения из экспериментальных данных. В дополнение к подтверждению экспериментальной или противоположной ей гипотезы возможно заключение о не подтверждении ни одной из них. Какое именно из этих трех заключений будет сделано, зависит от статистического решения относительно нуль-гипотезы.

Если бы был проведен бесконечный эксперимент и нуль-гипотеза оказалась верной, то среднее различие между условиями было бы равно нулю. Однако в отдельных конкретных экспериментах различия могут быть как в пользу одного условия, так и в пользу другого. Если различие настолько велико, что очень редко могло бы быть получено в бесконечном эксперименте, нуль-гипотеза отвергается. Однако если вероятность появления различия, подобного полученному, достаточно высока, нуль-гипотеза не отвергается. Когда нуль-гипотеза отвергается, делается вывод о подтверждении экспериментальной гипотезы (или противоположной ей гипотезы, если различие оказалось с обратным знаком). Когда нуль-гипотеза не отвергается, ни экспериментальная, ни противоположная ей гипотезы не подтверждаются. Это последнее заключение может означать одно из двух. Если данные ненадежны, заключение будет состоять в том, что действие независимой переменной просто не удалось выявить. При надежных данных экспериментатор может быть уверен, что условия не оказывают различного действия.