Телеметрия (т. е. сбор данных на расстоянии) может быть как благом, так и проклятьем. Благо она потому, что только с ее помощью вы узнаете, как на самом деле ведут себя игроки в домашней обстановке, причем сразу все. Ждите откровений: сколько человек играет в вашу игру? как долго длится средняя сессия? какие события заставляют бросить игру? И т. д., и т. п. Однако телеметрия может обернуться злом, если потреблять ее неосторожно, без вдумчивого анализа и понимания ограничений больших данных. Разработчики порой так любят щеголять термином «игровая аналитика», забывая при этом, что данные нужно анализировать (посредством статистического анализа, прогностического моделирования и т. п.). «Аналитика – это процесс обнаружения и описания закономерностей в данных для решения проблем в бизнесе, обоснования позиции руководства, принятия мер и/или улучшения работы предприятия» [Drachen и др., 2013].
Термин «большие данные» (Big data) в последнее время стал очень модным. Мы слышим, как успешные компании собирают терабайты информации о поведении клиентов. Однако данные сами по себе ничего не дают, так что просто собирать их бесполезно – нужно уметь извлечь из них ценные сведения. Как подчеркивают Ламбрехт и Такер [2016], «большие данные только тогда ценны для бизнеса, когда сочетаются с управленческими, инженерными и аналитическими процессами». Проблема в том, что многие, к кому в руки попадают необработанные данные и инструменты для их визуализации, зачастую имеют весьма поверхностное представление о статистике (и почти ничего не знают о когнитивных искажениях).
Моя позиция такова: если у вас нет должной подготовки, то поручите работу с данными дата-аналитикам, иначе велик риск наделать неверных или ошибочных выводов. Да, знать разницу между средним значением, медианой и модой для начала неплохо, но явно недостаточно.
В своей книге «Как лгать при помощи статистики»[57] Дарелл Хафф объясняет, что статистика очень наглядна, но, к сожалению, ее часто используют для раздутия, запутывания и упрощения. В этом смысле у нее немало общего с нейронауками. Видя перед собой визуализацию данных, нужно помнить о следующем.
• Репрезентативность выборки. Действительно ли источником данных выступала целевая аудитория? Участники закрытого бета-тестирования могут вести себя радикальнее, чем основная масса игроков, которые будут играть в релиз. Нельзя просто взять и экстраполировать результаты, полученные в небольшой выборке (как часто бывает на бета-тестировании), на широкую аудиторию. Выборка должна быть максимально разнообразной.
• Является ли результат статистически значимым? Среднее различие в поведении двух групп может не иметь значения, если внутри групп слишком большая вариация. Например, возьмем две команды по четыре человека, участвующие в PvP-матче[58]. В команде А два игрока набрали по 13 фрагов каждый, а остальные два – по 15 каждый. В команде Б один игрок убил двоих, другой – четверых, третий – семнадцать, а четвертый – тридцать три противника. В обоих случаях среднее (арифметическое) значение – 14, но вы невооруженным глазом видите, что участники команды А примерно равны между собой, тогда как состав команды Б более разношерстный. Так что при сравнении данных учитывайте разброс внутри группы, ведь разница в средних значениях может быть случайной. Степень значимости данных помогают определить доверительные интервалы (см. главу 14).
• Взаимосвязь не есть причинность. Скажем, данные, собранные на PvP-шутере, показывают: чем дольше игроки настраивают оружие (переменная А), тем реже погибают в матче (переменная Б). Иными словами, взаимосвязь между А и Б есть. Однако сам факт взаимосвязи не говорит о том, зависят ли эти величины друг от друга и каким образом. Может, А влияет на Б, может, наоборот, а может, обе зависят от третьей переменной. Или вообще взаимосвязь – это просто совпадение.
• Данные – это не информация, а информация – это еще не вывод. Первым делом информацию необходимо извлечь – прежде всего путем удаления лишних данных. Далее информацию следует интерпретировать и отфильтровать от шума. Если того, что осталось, хватает для принятия решения, то можно переходить к выводам. Сбор громадных массивов просто из одержимости «большими данными» – нецелесообразная трата времени и ресурсов.
• Плохие данные хуже, чем отсутствие данных вообще. Если флаги телеметрии не протестированы должным образом или в системе сбора данных есть баги, то вы, сами того не подозревая, получите искаженную картину. Допустим, вы будете ошибочно полагать, что 65 % ваших игроков, запустивших обучающую миссию, прошли ее, тогда как просто не было флага, который срабатывал бы, когда миссию покидают нестандартным способом (скажем, не через главное меню, а напрямую). Таким образом возникает дыра, в которую просачиваются игроки, не завершившие обучение, а статистика раздувается.
• По данным легко увидеть, что происходит, но трудно понять почему. Телеметрии недостает контекста. Например, вы видите, что в определенный день число игроков в вашу игру упало сильно ниже среднего. Почему – кто знает? Может быть, вышел долгожданный хит, который отвлек на себя внимание части аудитории. Или, например, игроки не запускали консоль, потому что смотрели по телевизору решающий матч. Возможно, были проблемы с сервером, и игроки не могли подключиться либо наблюдали серьезные лаги. Может, вообще произошел сбой при сборе данных. Наконец, спад мог быть случайным.
• Проводя эксперимент, всегда имейте контрольную группу для сравнения результатов. Например, если вы хотите узнать, чем отличаются ваши наиболее преданные игроки (в какие игры они обычно играют, какие активности предпочитают и т. п.), мало просто разослать им анкеты. Нужно отправить такие же анкеты игрокам, менее заинтересованным в вашей игре, а потом сравнить результаты и выявить по-настоящему отличительные характеристики преданных игроков.
Вот лишь несколько наиболее распространенных ошибок в работе со статистикой. Надеюсь, этого хватит, чтобы вы и ваша студия стали ответственно относиться к работе с данными. Но и это еще не все: необходимо помнить об ограничениях человеческого сознания – в первую очередь о когнитивных искажениях.
Восприятие субъективно, на него влияют наши знания и ожидания, из-за чего мы можем неверно истолковать график (отсюда необходимость серьезно относиться к визуализации данных). Расчеты и критическая оценка очень нагружают мозг, а так как мы от природы склонны облегчать себе жизнь, то часто удовлетворяемся скоропалительными выводами, которые вполне могут быть ошибочными или недостаточно продуманными.
Есть такая штука, как самосбывающиеся пророчества. Допустим, вы опасаетесь, что ваша игра не понравится игрокам соревновательного склада, потому что в ней, как вам кажется, недостает соревновательных механик. Вы просите своего любимого UX-аналитика разослать всем игрокам, записавшимся на закрытое бета-тестирование (а значит, хочется верить, представляющим вашу целевую аудиторию), анкеты. Туда включен вопрос: «Какие элементы нравятся вам в играх больше всего?» По итогам анкетирования оказывается, что большинство опрошенных не очень обращают внимание на соревновательные механики. Вы заключаете, что ваша целевая аудитория не соревновательная, а значит, беспокоиться не о чем. Вот только на анкеты ответили лишь те игроки, которых игра зацепила, а именно им соревновательность ни к чему (собственно, поэтому игра им понравилась). А соревновательные игроки, записавшиеся на бета-тестирование, но не впечатлившиеся игрой, просто проигнорировали опрос. Итог? Данный сегмент аудитории остался неохваченным.
Подобным образом устроен извечный спор об игроках женского пола. Существует устойчивое представление, будто основную массу игроков в MMORPG (многопользовательские онлайновые ролевые игры) и MOBA (многопользовательские онлайновые боевые арены) составляют мальчишки. Следовательно (хотя с какой, собственно, стати?), в игре должны быть сверхсексуализированные женские персонажи. Да, секс – сильный стимул, но, как мы выяснили в главе 6, далеко не главный и не единственный. К тому же большое количество оголенных женских персонажей отпугнет потенциальных игроков-женщин, которым в противном случае игра могла бы понравиться. И снова целый сегмент аудитории оказывается неохваченным. Подумайте об этом на досуге.
Кстати об устойчивых представлениях. Существует весьма неприятное когнитивное искажение под названием «предвзятость подтверждения»: мы склонны искать информацию, подтверждающую наши убеждения, игнорируя все, что им противоречит. Такая предвзятость – чума эпохи Интернета. Если вы, скажем, верите, что деятельность человека не приводит к глобальному потеплению, то легко найдете информацию, которая с этим согласуется, при этом оградив себя от огромного числа фактов, доказывающих техногенный характер изменения климата (с чем согласны по меньшей мере 97 % климатологов). Для этого достаточно потреблять информацию на конкретных сайтах, где используются особые алгоритмы, прогнозирующие, какая информация скорее привлечет ваше внимание. Однако то, что хорошо для таргетированной рекламы, не очень способствует формированию объективной картины мира.
Предвзятость подтверждения существовала и до появления соцсетей, однако теперь находиться внутри комфортного информационного пузыря стало гораздо легче. Как заметил на конференции TED в 2006 году статистик Ханс Рослинг, ныне покойный, «главная проблема, как я ее вижу, – не невежество, а укоренившиеся идеи». Думаю, этого достаточно, чтобы вы начали более разборчиво относиться к массивам данных.
Необходимо учитывать и когнитивные искажения аудитории, чтобы лучше понимать, почему игроки ведут себя тем или иным образом и что с этим делать (или не делать). Рассмотрим пример, описанный Дэном Ариэли [2008]. На сайте одного журнала предлагалось три варианта подписки.
А. Годовая подписка на онлайн-версию за $59.
Б. Годовая подписка на печатное издание за $125.
В. Годовая подписка на онлайн-версию и печатное издание за $125.
Цена у Б и В одинаковая ($125), но вариант В явно выгоднее. Заинтересовавшись, Ариэли решил провести эксперимент, предложив 100 студентам MIT выбрать один из вариантов. Большинство (84 студента) выбрали вариант В, 16 человек выбрали А, вариант Б не выбрал никто. И правда, кто согласится на меньшую выгоду, когда за те же деньги можно приобрести больше? Далее Ариэли убрал вариант Б и повторил эксперимент, но уже с другой группой. На этот раз большинство (68 студентов) выбрали вариант А, а оставшиеся (32 человека) выбрали вариант В. Данный случай получил название «эффекта приманки», когда один вариант (Б) вводится только для того, чтобы другой (В) выглядел более привлекательным.
Отсюда следует, что наше поведение зависит от окружения. Соответственно, видя только результаты действий игроков, но не зная, чем эти действия продиктованы, сделать правильные выводы трудно. И правда, если в примере выше просто взглянуть на конверсию и убрать «никому не нужный» вариант Б, то в итоге можно лишиться немалой прибыли.
Мы живем в «век информации» и потребляем ее в больших количествах. Во многих студиях принято держать игровую и коммерческую аналитику в открытом доступе для быстрого и автономного принятия решений. Проблема с такого рода «самообслуживанием» в том, что если сотрудники не знают о недостатках статистики и когнитивных искажениях, то эта практика приносит больше вреда, чем пользы.
Например, кто-то заметил искусственную закономерность в данных и убедил программистов внести изменение, которое в итоге навредило пользовательскому опыту или монетизации. Более того, даже профессионалы, если они не взаимодействуют с другими подразделениями (аналитика, UX-аналитика, разработка, маркетинг и т. д.), могут не получить ценных сведений, которые помогли бы им увидеть данные в новом свете.
Студии любят меряться объемами обрабатываемых данных. Это сейчас модно. Однако полностью полагаться на данные не стоит. Вместо этого, как считает мой коллега Бен Льюис-Эванс, нужно относиться к данным критически. Студия должна не реагировать на данные, а принимать взвешенные решения, опираясь на них. От себя я бы добавила, что решения следует принимать исходя из тщательного анализа информации, извлеченной из данных, на основе ранее выдвинутых гипотез.
Это значит, что нельзя ограничиваться только аналитикой. Нужно принимать в расчет информацию из разных источников, а для этого в студии должен быть налажен диалог в рамках общей UX-стратегии.