Игровая телеметрия очень полезна, когда нужно понять, где игроки испытывают наибольшие затруднения. В посте на сайте Gamasutra[59] Джонатан Данкофф объясняет, как Ubisoft применяла телеметрию при разработке игр серии Assassin’s Creed [Dankoff, 2014]: с ее помощью они выявляли миссии, в которых игроки массово проваливались, и непредусмотренные пути прохождения, что помогало команде исправлять эти недостатки.
Чтобы извлечь всю возможную пользу из аналитики, нужно поддерживать взаимодействие между разными командами. Важную роль в этом играют UX-исты, выступающие посредниками между командой разработки (планируемый опыт) и командой маркетинга (целевая аудитория), и, в идеале, с командой издателя (коммерческие цели). А поскольку и UX-аналитики, и дата-аналитики работают в рамках научного метода, хоть и применяют разные инструменты, они дополнят друг друга.
Дата-аналитики оперируют количественными данными большой выборки пользователей, играющих в естественной среде (например, дома). Соответственно, они могут сообщить, что происходит в игре на самом деле: допустим, многие игроки часто погибают в определенном участке игры. Однако, как упоминалось выше, количественным данным недостает контекста: они отлично демонстрируют, что произошло, но не могут объяснить почему.
И напротив, UX-аналитики оперируют в основном качественными данными из UX-тестов, проведенных в лабораторных условиях, где участвуют небольшие группы игроков, которые не могут просто взять и бросить игру. Главное преимущество этого подхода в том, что он помогает понять, почему игроки ведут себя так или иначе (см. главу 14). Например, можно выявить конкретный недостаток юзабилити, который приводит к гибели игроков на определенном участке игры (например, для победы над определенным врагом нужно определенное оружие, но непонятно, где его искать). Однако UX-аналитики не в состоянии с ходу объяснить, насколько значимо поведение, замеченное в лаборатории, с точки зрения массовой аудитории, особенно когда речь идет не о явных проблемах с юзабилити.
Объединить сильные стороны обоих подходов можно, только сочетая количественную статистику с качественным изучением пользователей [Hazan, 2013; Lynn, 2013]. Как минимум один UX-аналитик и дата-аналитик в паре должны тесно сотрудничать с разработчиками, либо в команде должны присутствовать исследователи широкого профиля [см. Mack, 2016]. UX-анализ и аналитика вместе могут координировать работу команд разработки, маркетинга и издания, требуя от них гипотезы и метрики, которые впоследствии помогут всем проанализировать статистику, выявить проблемы и подобрать решение.
Выявлять релевантные паттерны среди огромных массивов данных без гипотез и проверочных вопросов – все равно что искать иголку в стоге сена. Не нужно собирать все данные обо всех возможных действиях в игре – только значимые с точки зрения геймплейных и коммерческих целей. Это данные, которые дают информацию, необходимую для принятия верных решений в соответствии с вашими намерениями. Как упоминает в эссе ниже BI-аналитик Мари де Лезелюк, необходимо сформулировать гипотезы и четко поставить задачи. Помимо этого, вам (точнее, вашему дата-аналитику) понадобится провести предварительный анализ, например, чтобы выделить кластеры – обособленные группы пользователей, ведущих себя определенным образом, имеющих определенные пристрастия или как-то по-особенному тратящие деньги. Также будет полезен факторный анализ, позволяющий определить, какие факторы сильнее всего влияют на удержание игроков (т. е. что делают или не делают игроки, которые бросают игру, в отличие от тех, кто остается). Также неплохо было бы знать, какие пути прохождения чаще всего предпочитают, какие предметы разблокируют, в какие миссии играют, каких героев выбирают и т. д. Поскольку реализация телеметрических флагов и их тестирование – процесс долгий и трудоемкий, стоит определить, какие флаги важнее, и встроить их в первую очередь. В этом случае наличие гипотез помогает сэкономить время и структурировать данный процесс. Кроме того, имея на вооружении одну или несколько гипотез, можно прогнозировать те или иные виды поведения (или их отсутствие). Это тоже помогает расставлять приоритеты и быстрее принимать верные решения.
Вам понадобятся разные типы гипотез, в основном геймплейных и коммерческих. Вот несколько примеров.
Геймплейные гипотезы:
• Игроки, которые не понимают, как работает [вставьте механику], скорее всего, бросят игру.
• Игроки, которые проигрывают свой первый PvP-матч, с меньшей вероятностью продолжат играть.
• Игроки, у которых в первые десять минут игры появился друг, вероятно, останутся в игре надолго.
• И так далее.
Коммерческие гипотезы (для free-to-play игр):
• Игроки, которые остаются надолго, чаще конвертируются в покупателей.
• Игроки, которые участвуют в [маркетинговом событии], скорее всего, приобретут набор [предметов].
• Распространение бета-ключей среди активных игроков приводит к появлению новых пользователей, потому что игроки приглашают своих друзей.
• И так далее.
У вас, конечно же, получится много гипотез и проверочных вопросов. Их нужно будет расставить по важности и связать с соответствующими игровыми событиями. Подобрать подходящие события для конкретного вопроса или гипотезы не всегда легко. Возьмем первую из приведенных выше геймплейных гипотез. Если заданная механика простая, например использование определенной способности (допустим, двойной прыжок или бег), то достаточно просто отследить, используют ли ее игроки и если да, то в каком контексте (например, против какого противника) или в каком месте (при условии, что вы не используете процедурную генерацию уровней). Если же механика касается правил аггро для башен в МОВА-играх, проконтролировать ее будет сложнее. Да, можно посчитать, сколько раз игроки погибли от атак башен, однако при этом нужно учитывать, что послужило причиной аггро (игрок напал на башню в отсутствие миньонов в ее радиусе действия?).
К счастью, у ваших UX-истов есть сводка наиболее распространенных проблем юзабилити и механик, вызывавших затруднения у игроков. Вот почему смешанный подход к исследованиям, объединяющий UX-аналитику и дата-аналитику, приносит наилучшие результаты. Для каждой гипотезы и вопроса вы можете определить, какие инструменты дадут вам нужный ответ (UX или статистика), а для формулирования гипотез и вопросов достаточно знать принципы UX.
Подумайте, какие проблемы юзабилити могут навредить удержанию игроков, перечислите все механики, которые должны их увлекать, и проверьте, действительно ли желаемый результат достигнут. Четко представив, какой опыт вы хотите предложить аудитории, и выделив основные компоненты, повышающие уровень юзабилити и вовлекательность вашей игры, вы получите крепкую основу для анализа. Также благодаря ей вы будете знать, какого рода данные вам понадобятся и как их следует визуализировать, чтобы представить специалистам информацию наиболее наглядно (в виде тепловых карт, таблиц, гистограмм, круговых диаграмм, графиков и т. п.)
Мари де Лезелюк, BI-аналитик в Eidos Montreal
Гипотезы в игровой аналитике
Балансировка игровых классов в соревновательной онлайн-игре, оценка работы механик, оптимизация игровой экономики, прогнозирование оттока разочарованных игроков – все это трудно осуществлять осознанно без помощи чисел и без аналитика, который интерпретировал бы их в контексте, особенно если нужно избегать решений, продиктованных личным мнением или взятыми с потолка приближениями, как обычно бывает из-за недостатка информации и поверхностного понимания конкретной проблемы.
Вместе с тем нельзя сбрасывать со счетов неизбежные ограничения. Иначе говоря, никакой анализ не возможен без вопросов и изначальной гипотезы, без четкой постановки задач и, конечно же, без совместных усилий разработчиков, аналитиков, пользователей и руководителей. Точно так же нельзя ждать универсальных ответов на сложные вопросы, ведь результаты любых исследований фиксируются в искусственном формате. Не стоит принимать решения, слепо полагаясь на график или таблицу. Ко всему нужно относиться критически, исходя из всестороннего понимания мотивации и действий игроков, на которых рассчитана ваша игра.
Подготовив список гипотез и вопросов, определите параметры (метрики), которые будете измерять. Набор геймплейных метрик во многом зависит от игры: например, как часто игроки погибают (число смертей), точность оружия (число попаданий на серию выстрелов), сила оружия (число убитых врагов на серию ударов), распределение смертей по причинам (пули, ближний бой, падения и т. п.), темп прогресса (время между началом миссии и ее завершением) и так далее. Бизнес-метрики обычно касаются удержания игроков и конверсии (совершения внутриигровых покупок) для free-to-play игр. Все эти параметры, они же ключевые показатели эффективности (Key Performance Indicators, KPI), должны быть вам уже известны, но на всякий случай перечислю самые основные [Fields, 2013].
• DAU (Daily Active Users). Число активных пользователей в день, только уникальных (без минимального времени игры).
• MAU (Monthly Active Users). Число активных пользователей в месяц, как уникальных, так и регулярных.
• Удержание аудитории. Какой процент игроков в среднем возвращается в игру каждый день. Например, если DAU выше MAU, это показывает высокий уровень увлекательности игры.
• Конверсия аудитории. Процент игроков, которые становятся платящими клиентами.
• ARPU (Average Revenue Per User). Средняя выручка с пользователя: общая выручка за определенный период, поделенная на общее число игроков в тот же период.
• ARPPU (Average Revenue Per Paying User). Средняя выручка с платящего пользователя: то же, что и ARPU, но общая выручка делится на число плативших игроков за данный период.
Верно сформулировав гипотезы и метрики, вы сможете провести множество интересных экспериментов: скажем, А/В-тестирование, где вы проверяете, какая переменная (условие А или условие Б, возможно, больше) сильнее влияет на желаемое поведение (например, конверсия выше, когда кнопка зеленая или когда красная?).
Об игровой аналитике и ее связи с UX можно говорить еще долго, но я ограничусь, пожалуй, одним последним примером. Команда UX-аналитиков может составить анкеты для рассылки игрокам. Если найти способ сопоставить полученные ответы с игровыми данными (не нарушая анонимности), то можно увидеть, какие конкретно действия вызвали ту или иную реакцию (понравилось, не понравилось, осталось непонятным): например, те пользователи, которые отзывались об игре в основном отрицательно, в самом начале столкнулись с особо сложным для себя препятствием.
Приглашайте на обсуждения коллег из службы поддержки и маркетинга: они могут рассказать, на что игроки жалуются на форумах или когда обращаются в поддержку. Помните, однако, что подобные жалобы не всегда отражают мнение большинства игроков. Есть люди, которые регулярно жалуются на одно и то же. Вместе с тем знать непосредственную реакцию очень полезно, да и вашему комьюнити будет приятно, что его голос учитывается в развитии и улучшении игры.