Марк Твен писал (а точнее, приписывал эту фразу британскому премьер-министру Бенджамину Дизраэли), что есть ложь, есть наглая ложь и статистика. Откуда такое недоверие?
Манипуляций со статистикой известно едва ли не больше, чем логических ошибок. Есть даже книга, которая так и называется: «Как лгать при помощи статистики»[41].
Чаще всего в деловых презентациях используется прием сherry-picking («выдергивание вишенок»): из всего массива данных выбираются только те, которые подтверждают тезис, а те, которые ему противоречат, отсеиваются.
Классика: инвестиционные фонды выбирают интервал времени, на котором были успешны, и рассказывают, что «за пять лет заработали столько-то», умалчивая при этом, что на интервале в шесть лет или в три года результаты были провальными.
Даже если очень стараться быть честным, очень трудно избежать черри-пикинга из-за склонности к подтверждению своей точки зрения. Бороться с собственной предвзятостью сложно, но можно постараться быть добросовестным в сборе и анализе данных.
Как проявлять добросовестность?
Во-первых, внимательно изучать источники, смотреть на контекст цитаты.
В декабре 2020 года на РБК вышла статья[42] с заголовком «Власти США сообщили о смерти шести участников испытания вакцины Pfizer».
Информация абсолютно правдивая, но, если не читать ничего дальше заголовка, может сложиться впечатление, что вакцина опасна.
Из самой же статьи выясняется, что из шести участников только двое получили вакцину, а четверо — плацебо. Все они были пожилыми людьми с хроническими заболеваниями, а с момента испытаний до момента смерти прошло значительное время.
Так что единственный вывод из статьи — люди смертны. О вакцине и ее опасности или безопасности сказать на основании этих данных ничего нельзя.
При этом статья написана корректно, никаких лишних выводов в ней нет, информация в заголовке тоже правдивая. Но легко представить, как кто-нибудь, не проанализировав текст, приведет «статистику» смертности из заголовка в качестве аргумента в пользу опасности вакцины.
Во-вторых, не допускать некорректной интерпретации верных данных.
Например, известно, что ответы на вопросы о намерениях сильно отличаются от реального поведения людей — и будет некорректно данные опроса представлять как данные о намерениях, — с такой ошибкой я регулярно сталкивался в маркетинговых опросах: высказанное желание купить не равно будущим покупкам.
Кстати: в одном поведенческом исследовании[43] у 192 человек спросили, как они поступят, если столкнутся с аналогом «дилеммы вагонетки»: при нажатии на кнопку удар током получает одна мышь, без нажатия — пять мышей. Треть респондентов (34%) сказали, что нажмут на кнопку (спасут пять мышей, пожертвовав одной). Однако, оказавшись один на один с кнопкой, так поступили только 16%. Конечно, мышей током на самом деле не били — подопытными тут были только люди. Эксперимент подтвердил: они часто говорят одно, а делают другое.
В-третьих, честно рассказывать обо всех имеющихся данных.
Если в исследовании сказано, что 89% сотрудников хотят, чтобы руководитель был с ними честен, а 81% — чтобы у компании была ясная миссия, не стоит игнорировать первый пункт и писать на слайде только «81% сотрудников хочет ясной миссии».
В-четвертых, быть готовыми изменить свою точку зрения на этапе подготовки выступления, если выясняется, что актуальные данные ей противоречат. Это очень трудно, но профессиональные ораторы поступают именно так, заодно становясь менее уязвимыми для критики.
Чтобы статистика могла считаться достоверной, стоит учитывать несколько показателей: размер выборки, репрезентативность и источник (кто ее собирает и где она опубликована).
Размер выборки. В исследованиях по социальной психологии (посвященных поведению людей) минимальной выборкой считается 100 человек. На самом деле, нужный размер выборки рассчитывается по формуле репрезентативности, с учетом доверительного интервала, но, упрощая, можно считать, что это и есть 100 человек. Если в выборке менее 100 человек, скорее всего, исследование можно даже не читать. Однако если речь идет о коллективе из 20 человек, опрос всех двадцати по важной теме будет вполне релевантным. Бывают также глубинные интервью, в которых опрос даже двух человек может дать ценную информацию.
Репрезентативность. Мы должны быть уверены, что опрос проводился среди подходящей аудитории. Если важно было узнать мнение женщин, очевидно, в опросе должны участвовать женщины. Если статистика основана на мнении среднестатистического жителя страны, то опрашивать должны были всех представителей населения — из маленьких городов и из больших, разного пола, возраста, дохода и уровня образования.
Доверие источнику. Кто проводил исследование? Какова репутация издания, в котором оно опубликовано? По показателю надежности научные журналы делятся на четыре категории — их называют квартилями (Q). Журналы с категорией Q1 относятся к самым надежным, все статьи в них рецензируются экспертами. Журналы категории Q4 могут публиковать полную ерунду. Данные о журналах можно найти в базах Scopus и Web of Science. В России принято деление на K1, K2 и К3 — узнать, какие журналы туда попадают, можно на сайте ВАК.
P-value, или p-уровень значимости. Это вероятность получить случайные данные. Показатель p-value рассчитывается во всех серьезных статистических исследованиях: чем он меньше, тем лучше. Если значение 0,05 (или 5%), значит, вероятность того, что результат получен не случайно, — 95%. Это считается порогом качественного исследования (если p-value больше 5%, это уже плохо).
В науке большим уважением пользуются метаанализы и систематические обзоры — они синтезируют данные из большого количества исследований. Благодаря большой выборке и объединению данных из разных исследований и от разных ученых, вес таких работ как аргументов гораздо выше, чем у отдельных источников.
К сожалению, бывают случаи и откровенной фальсификации данных. Выявить их, не проводя серьезную аналитику, невозможно, и нам остается только следить за публикациями, чтобы своевременно актуализировать свои источники.
Ниже приведу три самых известных примера — исключительно для того, чтобы вы были в курсе и не ссылались на них в своих выступлениях, как на достоверные.
В 1998 году британский врач Эндрю Уэйкфилд опубликовал в журнале The Lancet статью, где предполагалась связь между вакциной MMR (measles, mumps, rubella — корь, паротит, краснуха) и аутизмом. Позже выяснилось, что в описаниях пациентов были искажены важные данные, и журнал отозвал публикацию. BMJ («Британский медицинский журнал») прямо назвал эту историю не просто ошибкой, а сознательным мошенничеством[44].
Дэн Ариели стал фигурантом скандала как соавтор статьи о том, что, если человек подписывает декларацию честности в начале отчета, а не в конце, он якобы меньше врет в этих отчетах. Позже статья была отозвана: разбор аналитиков Data Colada[45] показал очень сильные признаки фабрикации. Корректная формулировка здесь такая: отозвана статья с соавторством Ариели, но не доказан его собственный подлог.
Франческа Джино прославилась исследованиями о честности и моральных решениях, а затем сама оказалась в центре скандала. В нескольких ее статьях независимые исследователи обнаружили признаки подтасовки данных[46]; после внутреннего расследования Harvard Business School сочла обвинения обоснованными и отправила ее в административный отпуск.
Как искать статистику для выступления
Выбирать хорошие издания, где критически относятся к данным, проверяют источники, а также используют peer review — каждая поступающая статья оценивается и рецензируется экспертами.
В медицине наиболее авторитетными считаются журналы Lancet или Кохрейновские обзоры (в последних публикуются только метаанализы высочайшего качества). Самый уважаемый научный журнал (даже семейство журналов) — Nature.
В мире бизнеса уважаемыми изданиями считаются Harvard Business Review (HBR), MIT Sloan. Из российских внимательно относятся к данным «Ведомости» и РБК, обзоры и исследования СберУниверситета, МШУ «Сколково» или ВШЭ (список не полный, конечно). Ссылаться на них в выступлениях вполне корректно: даже если окажется, что издание ошиблось, никто не обвинит вас в использовании плохих источников.
И все же я предпочитаю при подготовке своих выступлений смотреть первоисточники — научные исследования, на которые ссылаются деловые журналы.
Искать в поисковиках и библиотеках. В поисковиках есть сервисы поиска именно по научным статьям, например Google Scholar, в России крупнейшая библиотека — «КиберЛенинка», многие ученые сами публикуют свои статьи на сайте arXiv.org.
Искать с помощью ИИ-моделей. Современные модели отлично ищут и даже читают исследования. Еще несколько лет назад очень остро стояла проблема галлюцинаций (модель могла выдавать то, чего в статьях нет, или даже выдумывать несуществующие статьи), но в последнее время ситуация заметно улучшилась. При запросе к ИИ как раз можно указать, что искать исследования надо в журналах категории Q1 или K1 — с наивысшим рейтингом качества. При этом по-прежнему важно самостоятельно читать и проверять найденные статьи.
Обратиться к специалистам. Их мнение само по себе может стать аргументом. Кроме того, они могут подсказать надежные источники.
Провести исследование или собрать данные самостоятельно. Подготовить опросник для группы, собрать мнения. В сложных ситуациях с высокой ценой ошибки лучше доверить это профессионалам — даже формулировка вопроса может сильно повлиять на результат. Но во многих случаях сгодится и свой опрос — при корректном проведении он будет достаточно веским аргументом.