A/B-тестирование – частный случай мультивариантного тестирования (MVT), описанного ранее. По сути, это аналог бета-тестирования или раскрытия на белый список, но на пользователей открываются два варианта реализации функциональности: вариант А и вариант Б. Сравнив бизнес-показатели двух вариантов, можно выделить более эффективный и раскрыть его на всех пользователей.

Работая над дизайном «Альфа-Мобайл», мы пришли к тому, что на первом экране появилось много элементов меню первого уровня и пользователям было трудно найти нужное. По этой и по ряду других причин мы решили переделать навигацию по приложению. Мнения в команде разделились. Я предлагал использовать панель вкладок (tab bar, таб-бар) – нижний навигационный элемент, стандартный в iOS и в тот момент легализованный в Google Material Design. Главный дизайнер приложения предлагал вариант с центральной разделяющей кнопкой; ближайший аналог подобного решения – интерфейс Spotify.

В определенный момент для некоторой доли пользователей Android были открыты два варианта навигационного элемента

Моим аргументом было то, что панель вкладок – привычный элемент. Аргумент главного дизайнера – что новый элемент придает уникальности приложению.

Я провел эвристический анализ с использованием в том числе материалов Nielsen Norman Group, эта компания известна своими многочисленными исследованиями в области дизайна интерфейсов, многие выводы из которых, включая «эвристики Nielsen»{6}, активно используют UX-исследователи для эвристического анализа интерфейсов. В результате я не выявил значительных различий.

Следующим шагом стало проведение юзабилити-исследования, в нем показатели таб-бара были немного лучше, но разница оказалась меньше погрешности. Несмотря на то что мы получили огромное количество информации об опыте пользователей, мы не смогли достичь статистически значимого результата.

Юзабилити-исследования – прекрасный инструмент для получения пользовательских инсайтов, но они не всегда дают статистически значимый результат, на основе которого можно было бы принять однозначное решение в пользу того или иного варианта

Третьим шагом в решении этого принципиального вопроса было проведение A/B-тестирования. Команда разработчиков в сроки, сопоставимые со временем, требуемым для рекрутинга на юзабилити-исследование, создали «легкие» тестовые версии двух видов навигации. Мы открыли эксперимент на небольшую группу клиентов и предупредили их о проведении эксперимента во всплывающем окне при запуске приложения. У участников была возможность отказаться.

А/В-тестирование может не показать разницу в конверсии, если стоимость переключения с исследуемого продукта на другой для пользователя высока (на тот момент, чтобы сменить банк, нужно было приходить с паспортом в отделение), – он завершает сценарии вне зависимости от удобства навигации. Хотя потом это негативное переживание, вероятно, послужит стимулом к смене продукта при удобном случае

После обработки данных по конверсиям мы не увидели значимой разницы между вариантами. Скорее всего, это было связано с тем, что в приложениях вроде банковских наблюдается так называемый эффект лосося[56]. Если человеку необходимо пополнить баланс мобильного телефона, он готов преодолевать значительные трудности, чтобы достичь цели. Пользователь может в голос проклинать приложение и после успешного выполнения сценария переключиться на конкурентов, но показатели конверсии (отношение количества тех, кто прошел путь до конца, к количеству тех, кто начал) будут в районе 98 %.

Затем наши эксперты по исследованию данных (data science experts) проанализировали время, которое пользователи проводят на первой странице, и выявили, что в варианте с кнопкой люди в среднем проводят меньше времени, чем в версии с таб-баром. Следовательно, они быстрее ориентируются и быстрее обучаются.

Распределение по времени, которое пользователи проводят на первой странице. У варианта с кнопкой лучшие показатели, у варианта с таб-баром и исходной версии изменений нет