Каждый научный эксперимент ищет ответ на какой-то вопрос. Существуют ли гравитационные волны? Ненавидят ли миллениалы финансовую устойчивость? Может ли этот новый препарат вылечить от антипрививочной паранойи? Вне зависимости от вопроса есть два возможных ответа («да» и «нет») и, учитывая неизбежную ненадежность данных, два возможных исхода («вы правы» и «вы ошиблись»). Таким образом, результаты экспериментов можно поделить на четыре категории:

Ученые хотят добиться истинно положительных результатов. Их называют «открытия»: вам вручают ништяки типа Нобелевских премий, любимый человек готовит вам смузи, ваши изыскания продолжают получать финансирование.

Истинно отрицательные результаты воодушевляют меньше. Вам казалось, что вы уже помыли полы и постирали белье, но вдруг вы осознали, что вам это просто примерещилось. Вы узнали правду, но лучше бы она была другой.

Ложноотрицательные результаты раздражают. Вы искали потерянные ключи в нужном месте, но почему-то они все равно не нашлись. Вы никогда не узнаете, насколько близок был успех.

Ложноположительные результаты самые пугающие. Это фантомы: ложь, которая в один пригожий день может сойти за истину. Они сеют смуту в науке, годами таятся незамеченными в научной литературе и влекут за собой тонны впустую потраченного времени. Наука — это непрерывный поиск истины, поэтому ложноположительных результатов невозможно избежать, но крайне важно свести их к минимуму.

Именно тогда на помощь приходит p-значение. Его цель — выявить фантомы.

В качестве иллюстрации проведем эксперимент: делает ли шоколад людей счастливее? Наугад разделим респондентов на две равные группы. Пусть одни едят шоколадные батончики, а другие хрустящее печенье. Затем мы попросим их оценить, насколько они счастливы, по шкале от 1 (страдание) до 5 (блаженство). Наша гипотеза: едоки шоколада выставят более высокие баллы.

Но есть определенная опасность. Даже если шоколад не влияет на уровень счастья, респонденты из первой группы могут выставить более высокие оценки. Например, взгляните, что произошло, когда я сгенерировал пять случайных наборов данных для одной и той же группы респондентов.

Из-за стечения обстоятельств две теоретически одинаковые группы могут продемонстрировать очень разные результаты. Что, если «шоколадная» группа выставит более высокие оценки по чистой случайности? Как мы отличим подлинное повышение уровня счастья от бессмысленного фантома?

Для того чтобы распознать фантомы, p-значение учитывает три фундаментальных признака:

1. Насколько велико отличие? Незначительное отличие (скажем, 3,3 против 3,2) скорее говорит о случайном совпадении, чем существенная разница (скажем, 4,9 против 1,2).

2. Насколько велик набор данных? Выборка из двух человек не внушает особого доверия. Может быть, я случайно дал шоколадку восторженному любителю жизни, а хрустящее печенье — неблагодарному нигилисту. Но в выборке из 2000 человек, случайным образом разделенной пополам, индивидуальные различия должны стираться. Даже небольшой разрыв (3,08 против 3,01) вряд ли может быть случайным.

3. Дисперсия внутри каждой группы. Если разброс оценок широк и дисперсия высока, разница в результатах двух групп легко могла быть продиктована случайностью. Но если оценки стабильные и дисперсия низкая, то даже небольшая разница, скорее всего, неслучайна.

Вся эта информация сводится к p-значению — одному числу между нулем и единицей, своего рода оценке абсурдности совпадения. Чем меньше это число, тем абсурднее полагать, что результаты получены в силу чистой случайности. Близкое к нулю p-значение говорит о том, что совпадение настолько абсурдно, что, возможно, это никакое и не совпадение.

(Чуть больше технических деталей вы найдете в примечании[170].)

Некоторые p-значения легко интерпретировать. 0,000001 означает, что фантомный результат может получиться случайно в одной из миллиона попыток. Такие совпадения настолько редки, что взаимосвязь почти наверняка есть — в нашем случае шоколад делает людей счастливее.

Между тем p-значение, равное 0,5, означает, что вероятность фантомного результата 1 к 2. Такое происходит… ну, через раз. Подобные результаты повсеместны, словно сорняки. Так что в нашем случае, похоже, шоколад не влияет на уровень счастья.

Между этими ярко выраженными случаями лежит спорная территория. Как насчет p-значения 0,1? А как насчет 0,01? Говорят ли эти числа о том, что мы ловим фантомы или наши результаты достаточно экстремальные и, возможно, это вовсе не фантомы? Чем ниже p-значение, тем лучше; но ниже — это насколько низко?