Дисперсионный анализ. Изучение наличия или отсутствия зависимости между переменными можно также проводить и с помощью дисперсионного анализа. Его суть заключается в следующем. Дисперсия характеризует «разброс» значений переменной. Переменные связаны, если для объектов, отличающихся значениями одной переменной, отличаются и значения другой переменной. Значит, нужно для всех объектов, имеющих одно и то же значение одной переменной (называемой независимой переменной), посмотреть, насколько различаются (насколько велика дисперсия) значения другой (или других) переменной, называемой зависимой переменной. Дисперсионный анализ как раз и дает возможность сравнить отношение дисперсии зависимой переменной (межгрупповой дисперсии) с дисперсией внутри групп объектов, характеризуемых одними и теми же значениями независимой переменной (внутригрупповой дисперсией).

Другими словами, дисперсионный анализ «работает» следующим образом. Выдвигается гипотеза о наличии зависимости между переменными: например, между возрастом и уровнем образования сотрудников некоторой организации. Выделяются группы элементов выборки (сотрудников) с одинаковыми значениями независимой переменной – возраста, то есть сотрудников одного возраста (или принадлежащих выделенному возрастному диапазону). Если гипотеза о зависимости уровня образования от возраста верна, то значения зависимой переменной (уровня образования) внутри каждой такой группы должны различаться не очень сильно (внутригрупповая дисперсия уровня образования должна быть мала). Напротив, значения зависимой переменной для различающихся по возрасту групп сотрудников должны различаться сильно (межгрупповая дисперсия уровня образования должна быть велика). То есть, переменные зависимы, если отношение межгрупповой дисперсии к внутригрупповой велико. Если же гипотеза о наличии зависимости между переменными не верна, то это отношение должно быть мало.

Регрессионный анализ. Если корреляционный и дисперсионный анализ дают ответ на вопрос, существует ли взаимосвязь между переменными, то регрессионный анализ предназначен для того, чтобы найти «явный вид» функциональной зависимости между переменными. Для этого предполагается, что зависимая переменная (иногда называемая откликом) определяется известной функцией (иногда говорят – моделью), зависящей от зависимой переменной или переменных (иногда называемых факторами) и некоторого параметра. Требуется найти такие значения этого параметра, чтобы полученная зависимость (модель) наилучшим образом описывала имеющиеся экспериментальные данные. Например, в простой (СНОСКА: Простой называется регрессия одной переменной по другой) линейной регрессии предполагается, что зависимая переменная y является линейной функцией y = a x + b от независимой переменной x. Требуется найти значения параметров a и b, при которых прямая a x + b будет наилучшим образом описывать (аппроксимировать) экспериментальные точки (x1, y1), (x2, y2), …, (xn, yn).