Научный метод позволяет систематически искать решение задачи или ответ на вопрос. Это гипотетико-дедуктивный подход, подразумевающий сбор измеримых доказательств и их анализ с использованием стандартизированного протокола, чтобы подтвердить или опровергнуть гипотезу, по возможности, без внесения искажений. Этот процесс итеративен и не слишком отличается от дизайнерских циклов. Обычно все начинается с общих предположений, затем идет фаза концептуализации, на которой изучаются доступные источники по конкретному предмету, делаются широкие наблюдения и формулируются вопросы для дальнейших исследований. После этого идет постановка гипотезы, разработка протокола эксперимента, сам эксперимент, анализ результатов, подтверждение, опровержение или уточнение гипотезы – и общий вывод (чтобы те же или другие исследователи могли повторить результаты или работать с ними дальше).

Формулируя гипотезу, ученый также выдвигает ее противоположность – «нулевую гипотезу», постулирующую, что проверяемая переменная ни на что не влияет. Например, применительно к играм проверяемая гипотеза может звучать так: «Игроки, освоившие правила на практике, в первый час игры погибают реже, чем те, кто просто прочел текст туториала». Нулевой гипотезой в таком случае будет: «Игроки, освоившие правила на практике, в первый час игры погибают с такой же частотой, как и те, кто просто прочел текст туториала». После проведения эксперимента и анализа результатов, если статистическая вероятность того, что нулевая гипотеза не подтверждается, 95 % и выше, то проверяемая гипотеза считается доказанной.

Протокол эксперимента должен гарантировать, что измеренная разница между двумя группами (например, той, которая училась на практике, и той, которая читала туториалы) действительно влияет на проверяемую переменную (количество смертей). Если выяснилось, скажем, что игроки, осваивавшие игровые механики в контексте, погибали реже, чем те, кто читал текстовое описание тех же механик, и эта разница имела статистическую значимость, то ее можно объяснить, например, тем, что чтение в среднем занимает меньше времени, чем практика. Соответственно, результаты зависят не от типа обучения, а от разного времени обработки. Поэтому протоколы должны быть строго стандартизированы, чтобы гарантировать, что выводы сделаны верно.

Результаты научных экспериментов принято описывать в статьях и публикациях, которые проверяются рецензентами и, если методология не вызывает вопросов, публикуются в журналах, чтобы все научное сообщество могло использовать эти результаты в своих теориях и последующих экспериментах. По крайней мере, в идеале. Беда в том, что когда нулевую гипотезу отбросить не удается, ученые либо вообще не пишут статей об исследовании, либо их статьи не принимают к публикации. И это, вероятно, заставляет ученых изо всех сил держаться за свои экспериментальные гипотезы (от внесения бессознательных искажений до намеренной фальсификации), что лишает все сообщество интересных результатов.

Отсутствие результатов (т. е. невозможность опровергнуть нулевую гипотезу) само по себе интересно. В своей увлекательнейшей книге «В поисках памяти. Возникновение новой науки о человеческой психике»[53] нейробиолог, психиатр и лауреат Нобелевской премии Эрик Кандель приводит слова нейрофизиолога Джона Экклса, получившего в 1963 году Нобелевскую премию за работу по синапсам: «Более того, я научился <…> даже радоваться опровержению своих излюбленных гипотез, потому что это тоже научные достижения и потому что такие опровержения позволили нам многому научиться».

В настоящее время множество научных дисциплин переживают «кризис воспроизводимости» [см. Przybylski, 2016], хотя в основном говорят именно об области социальной психологии. Действительно, отдельные результаты первоначального исследования не всегда воспроизводимы, даже если другие исследователи (а иногда и сам автор исследования) применяют тот же протокол. Возможность повторить эксперимент крайне важна, поскольку означает, что методология выбрана верно, число искажений сведено к минимуму, а полученные результаты не случайны. Невозможность повторения, соответственно, вызывает беспокойство и, вероятно, отчасти объясняет недоверие общественности – особенно потому, что СМИ зачастую тиражируют исследования сенсационными заголовками еще до того, как их воспроизводимость была проверена.

Некорректные протоколы, нерепрезентативные выборки и грубо проведенные эксперименты тоже подрывают репутацию науки. Прибавьте сюда фальсификации, к которым нередко прибегают корпорации в попытках убедить людей, что их продукция не опасна. В частности, широко известен факт, что табачные компании подкупали ученых и специалистов, чтобы те опровергали установленную взаимосвязь между курением и раком [см. Saloojee, Dagli, 2000]. Или вспомните, как возникло заблуждение, будто вакцинация увеличивает риск развития аутизма. Всего одного исследования (хотя впоследствии его и его гипотезу полностью опровергли за отсутствием тщательности) хватило, чтобы посеять в родителях страх и сомнения.

Рост недоверия к науке – серьезная проблема, так как способствует появлению фейков (они же «альтернативные точки зрения») и создает простор для новых форм манипуляции общественным сознанием, а это может затруднить жизнь UX-аналитику. Наука – это приверженность поиску истины, а не соревнование в том, кто прав, и уж тем более не инструмент контроля умов. Поэтому крайне важно, чтобы ученые сохраняли непредвзятость. Они не продвигают ничью точку зрения и не дают своего «мнения». Они анализируют ситуацию, пользуясь доступными знаниями и данными.

Задача UX-аналитика – предоставлять объективные данные, помогающие разработчикам принять взвешенные решения. Если он хочет оставаться беспристрастным, ему нельзя «влюбляться» в игру. Хотя я убеждена, что UX-аналитики должны быть частью команды и выстраивать доверительные отношения с разработчиками, не менее важно, чтобы они поддерживали эмоциональную дистанцию между собой и проектом либо поручали проведение тестов сторонним исследователям, чтобы не искажать результаты. Напомню главное: изучение игроков – крайне эффективный способ раннего распознавания насущных проблем, оценки их серьезности и поиска решений.