К статистике часто прибегают, когда хотят понять, есть ли разница между двумя вещами: двумя разными удобрениями, лекарствами, манерами преподавания, суммами зарплат (например, сравниваются мужчины и женщины, выполняющие один и тот же вид работ). Сравниваемые показатели могут отличаться друг от друга по-разному. Между ними может быть фактическая разница. На вашу выборку могут влиять мешающие факторы, не имеющие ничего общего с исследуемым вопросом. В ваших измерениях могут быть ошибки. А может и быть случайное отклонение — оно возникает то в одной, то в другой части уравнения, в зависимости от того, когда вы с ним работаете. Задача исследователя — найти стабильные, воспроизводимые разницы, и мы пытаемся отделить их от экспериментальных ошибок.

Будьте, однако, осторожны с тем, каким образом новостные СМИ используют слово «значимый», потому что для статистиков это не означает «заслуживающий внимания». В статистике это слово связано с тем, что данные были получены в результате статистических процедур, например проверки по критерию Стьюдента^{12} и критерию хи-квадрат^{13}, регрессионного анализа^{14} и метода главных компонент^{15} (их сотни). Статистический уровень значимости представляет в количественной форме, насколько легко результаты объясняются чистой случайностью. При большом количестве наблюдений даже самые незначительные отклонения бывает сложно объяснить в рамках используемой статистической модели. Не критерии определяют, что заслуживает внимания, а что нет, — тут нужны человек и его оценка.

Чем больше у вас наблюдений в двух группах, тем вероятнее вы найдете между ними разницу. Допустим, мы изучаем ежегодные эксплуатационные расходы на два разных автомобиля, Ford и Toyota, располагая данными о содержание десяти машин каждой марки. Давайте предположим, что средние расходы на Ford на восемь центов в год больше. Возможно, статистически это будет незначительно, и, понятное дело, разница в восемь центов в год не станет учитываться при выборе машины — она слишком мала, чтобы из-за этого еще переживать. Но если посмотреть на содержание 500 тысяч автомобилей, эта разница уже станет статистически значимой. При этом она не будет иметь никакого значения в реальной жизни. Еще один пример: новое средство от головной боли может быть статистически лучше, поскольку быстрее решает проблему, но если всего на 2,5 секунды, то кому какая разница?