Итак, рандомизированные испытания являются золотым стандартом для доказательства причинно-следственных связей, и их использование распространилось на социальные науки. Теперь вернемся в офис Google в день 27 февраля 2000 года. Благодаря чему тогда произошла революция в интернете?

В тот день несколько инженеров решили провести эксперимент на сайте Google. Они случайным образом разделили пользователей на две группы. В рабочей была показана новая страница результатов поиска с 20 ссылками, а в контрольной – старая, с 10. Затем специалисты сравнили удовлетворенность представителей обеих групп, основываясь на том, как часто они возвращались в Google.

Революция? Поначалу это не казалось столь уж революционным. Я уже отметил, что подобные эксперименты использовались фармацевтическими компаниями и социологами. Так можно ли считать простой их перенос в другую область таким уж большим делом?

Ключевой момент – и это быстро поняли инженеры Google – заключался в том, что эксперименты в виртуальном мире имеют огромное преимущество перед исследованиями в реальном мире. Они так же убедительны, но менее ресурсоемки. По ходу дела Дюфло нужно было общаться со школами, организовать финансирование, платить части учителей и проверять уровень всех учащихся. Реальные эксперименты могут стоить тысячи или сотни тысяч долларов, и на их проведение могут уйти месяцы или годы.

В цифровом мире подобные исследования можно проводить дешево и быстро. Вам не нужно нанимать участников и платить им. Вместо этого можно просто написать строку кода и случайным образом составить группы. Для исследования вам не нужны пользователи – можно измерять перемещения мыши и клики. Нет необходимости вручную писать код и анализировать ответы – можно написать программу, которая будет автоматически делать это за вас. Вам не придется ни с кем связываться. Вам даже не придется объяснять людям, что они являются частью эксперимента.

Это четвертое преимущество больших данных: они позволяют проводить рандомизированные испытания, помогающие гораздо легче находить реальные причинно-следственные связи в любое время и практически в любом месте – важно только наличие доступа в интернет. В эпоху больших данных весь мир – большая лаборатория.

Понимание этого быстро распространилось в Google, а затем по всей Силиконовой долине, где рандомизированные испытания были переименованы в «А/B-тесты». В 2011 году инженеры Google провели семь тысяч А/B-тестов{138}, и с тех пор их число только растет.

Если Google хочет знать, как заставить людей кликать на рекламу на его сайтах, компания может использовать в баннерах два оттенка синего: один для группы А, другой для группы Б, а затем сравнить количество кликов. Конечно, простота такого тестирования может привести к злоупотреблениям. Некоторые сотрудники считали, что, поскольку тестирование настолько легкое, Google утонет в экспериментах. В 2009 году один несостоявшийся дизайнер уволился после того, как в ходе очередного А/B-тестирования был использован 41 незначительно отличающийся оттенок синего{139}. Но протест этого дизайнера против навязчивого исследования конъюнктуры рынка и в поддержку искусства практически не остановил распространение данной методологии.

Сегодня Facebook выполняет{140} тысячи А/В-тестов в день – это означает, что небольшое число инженеров за это время запускают больше рандомизированных контролируемых испытаний, чем вся фармацевтическая отрасль за год.

А/В-тестирование распространилось за пределы крупнейших технологических компаний. Бывший сотрудник Google Дэн Сирокер применил эту методику в первой президентской кампании Барака Обамы. Он выполнил А/В-тестирование дизайна главной страницы сайта кампании, полей электронной почты и формы пожертвований. Позже Сирокер основал компанию Optimizely{141}, предоставляющую организациям услуги по экспресс-А/B-тестированию. В 2012 году за помощью к Optimizely обратились и Обама, и его соперник Митт Ромни – чтобы максимизировать количество регистраций, добровольцев и пожертвований. Ее услугами пользуются TaskRabbit и журнал «New York».

Чтобы понять, насколько ценно подобное тестирование, учтите: Обама использовал его для привлечения большего количества людей в свою предвыборную кампанию. Главная страница сайта президента изначально включала картинку с его изображением и кнопку под ней, приглашавшую людей: «Зарегистрируйтесь».

Было ли это наилучшим способом привлечь людей? С помощью Optimizely команда Обамы могла проверить, не помогут ли другие изображение и кнопка привлечь больше людей. Будут ли люди нажимать на кнопку чаще, если лицо Обамы на фото будет более торжественным? А если на кнопке будет написано: «Присоединяйтесь»? Пользователям были продемонстрированы различные комбинации картинок и кнопок, а затем подсчитано, сколько из них при каком варианте нажали на кнопку. Посмотрите варианты на следующей странице и попробуйте угадать выигрышную комбинацию.

Выиграли фотография семьи Обамы и кнопка «Узнайте больше». Это была победа. При использовании такой комбинации Обама получил на 40 % больше зарегистрированных пользователей, что добавило кампании дополнительное финансирование в объеме примерно 60 млн долларов{142}.

Тестируемые снимки

Тестируемые кнопки

И еще один большой плюс в том, что подобные тесты можно проводить дешево и легко: это освобождает нас от вечной зависимости от интуиции, которая, как отмечалось в главе 1, имеет свои ограничения. Основная причина важности А/В-тестирования заключается в том, что люди непредсказуемы. Интуиции часто не удается предсказать их реакцию.

Выигрышная комбинация

Было ли ваше шестое чувство право относительно оптимального вида сайта Обамы?

Вот еще несколько проверок для вашей интуиции. «Boston Globe» провел А/Б-тесты заголовков{143} – выяснить, какие из них привлекут наибольшее внимание людей, заставив их кликнуть на статью. Попробуйте угадать победителей:

Один из этих заголовков был признан лучшим с точки зрения числа кликов

Догадались? Ответы приведены ниже

Полагаю, вы указали правильно больше половины ответов – возможно, вы рассуждали, на что вам самим захотелось бы кликнуть. Но, скорее всего, вы не все угадали правильно.

Почему? Что вы упустили? Каких выводов о поведении человека вам не хватает? Какие уроки вы извлекли из своих ошибок?

Обычно мы задаем такие вопросы после плохих прогнозов.

Но посмотрите, как трудно делать общие выводы из заголовков «Globe». В первом поменяли всего одно слово – «этот» на «SnotBot», что привело к победе. Можно предположить, что более подробное описание нравится людям больше. Но во втором заголовке «сдутые шарики» – конкретный термин – ведет к поражению. В четвертом заголовке «сорвала куш» опережает цифру «179 000 долларов». Это может означать, что выиграть помогает сленг. Но сленговое выражение «конкурс перепихона» проигрывает в третьем заголовке.

Урок, полученный в результате данного А/B-тестирования, в значительной степени отличается от привычных. Кларк Бенсон{144}, генеральный директор сайта новостей и развлечений ranker.com, при выборе заголовков и дизайна ресурса в значительной степени опирается на А/В-тестирование. «В конце дня вы ничего не сможете предложить, – говорит он. – Проверяйте буквально все».

Тестирование заполняет пробелы в нашем понимании человеческой природы. Они всегда будут существовать. Если бы мы, основываясь на жизненном опыте, могли знать точный отклик, тестирование не имело бы смысла. Но нам это недоступно, поэтому приходится использовать тесты.

Еще одна причина важности А/В-тестирования заключается в том, что оно четко показывает: казалось бы, небольшие изменения могут привести к огромным последствиям. Как говорит Бенсон, «меня все время поражает, как мелкие незначительные факторы способны оказать столь огромное влияние».

В декабре 2012 года компания Google изменила свою рекламу: на квадратиках появились направленные вправо стрелки{145}.

Обратите внимание, как странно выглядят эти стрелки – они абсолютно ни на что не указывают. В самом деле, когда они появились впервые, многие посетители Google отнеслись к ним критически{146}. Зачем добавлять бессмысленные стрелки на рекламе, задумались они.

Google защищает свои бизнес-секреты, поэтому ее сотрудники не стали сообщать, насколько ценными были эти стрелки. Единственная информация, которую удалось узнать: этот вариант победил в А/B-тестировании. Причина, по которой Google добавила их, заключатся в том, что очень много людей захотели туда нажать. В результате, это незначительное и, казалось бы, бессмысленное изменение принесло Google и ее рекламным партнерам кучу денег.

А вы можете найти эти небольшие хитрости, которые способствуют получению такой огромной прибыли? Вам следует проверить многие моменты – даже те, которые кажутся тривиальными. На самом деле пользователи Google неоднократно замечали, что реклама сначала чуть-чуть меняется, а затем возвращается к своему прежнему виду. В этих случаях они невольно становятся членами рабочей группы А/В-тестирования, но при этом получают лишь возможность видеть эти незначительные изменения.

Экспериментальное центрирование (не работает)

Эксперимент Green Star (не работает)

Эксперимент с новым шрифтом (не работает)

Показанные выше изменения не пошли в дело. Они не сработали. Но они были частью процесса отбора победителей. Дорога к кликабельной стрелке вымощена уродливыми звездами, ошибочным расположением текста и бесполезными шрифтами.

Бывает весело угадывать, что же заставляет людей кликать на кнопки. Если вы демократ, то вам может быть приятно знать, что тестирование принесло Обаме больше денег. Но у А/Б-тестирования есть и темная сторона.

В своей замечательной книге «Irresistible» («Непреодолимость») Адам Алтер пишет о создании поведенческих зависимостей в современном обществе{147}. Многие люди сегодня признаются, что им бывает все труднее выключить интернет.

Мой любимый набор данных – поисковые запросы в Google – может дать нам некоторые подсказки относительно того, что люди считают наиболее привлекательным. По статистике Google, большинство зависимостей остаются прежними, такими, с которыми люди боролись в течение многих десятилетий – например, наркотики, секс и алкоголь. Но интернет начинает заявлять о своем присутствии в этом списке все громче – «порно» и Facebook входят в десятку самых распространенных зависимостей.

Самые сильные зависимости в 2016 году, по статистике Google{148}

Наркотики

Алкоголь

Азартные игры

Секс

Сахар

Facebook

Порно

Любовь

А/В-тестирование может играть важную роль в создании так сильно затягивающей людей сети.

Тристан Харрис, «специалист по этике», слова которого цитируются в «Irresistible», объясняет, почему людям так трудно сопротивляться притяжению определенных сайтов: «С другой стороны экрана находятся тысячи людей, чья работа состоит в том, чтобы сломать вашу способность к саморегуляции».

И эти люди используют А/В-тестирование.

С помощью испытаний Facebook может определить, что конкретная кнопка конкретного цвета заставляет людей чаще возвращаться на сайт. Тогда исследователи меняют цвет кнопки. Затем они могут понять, что конкретный шрифт заставляет людей чаще возвращаться на сайт. Поэтому они меняют шрифт. Затем они могут выяснить, что получение людьми электронных писем в определенное время заставляет их приходить на сайт чаще. Поэтому они отправляют электронную почту именно в это время.

Довольно скоро Facebook стал весьма оптимизированным с точки зрения повышения количества времени, которое люди тратят на него.

Другими словами, используйте как можно больше выигравших результатов А/B-тестирования, и вы получите очень привлекательный сайт. Это тот тип обратной связи, которого не было у производителей сигарет.

А/В-тестирование чаще всего является инструментом игровой индустрии. Как говорит Алтер, проводится А/Б-тестирование различных версий игры World of Warcraft. В одной миссии можно убить кого-то. В другой – спасти кого-то. Дизайнеры могут дать игрокам различные образцы различных миссий, а затем посмотреть, какие из них будут пользоваться наибольшей популярностью. Они могли бы увидеть, например, что миссия по спасению кого-то привлекает на 30 % больше пользователей. Если они испытывают много, очень много миссий, то начинают находить все больше и больше победителей A/B-тестирования. Эти 30 % побед складываются до тех пор, пока не получится игра, в которую играют многие взрослые геймеры.

Если вы немного встревожены этим, знайте – я тоже. И в конце этой книги мы немного поговорим об этических последствиях, а также о других аспектах больших данных. Хорошо это или плохо, но эксперименты – главный инструмент в арсенале ученых. В этом наборе инструментов имеется еще одна форма исследований. Она была использована для того, чтобы задавать различные вопросы – в том числе о том, насколько эффективно работает телевизионная реклама.