Как вы, может быть, заметили, в моем примере варианты A и B сравнивались не только между собой (как и положено при A/B-тестировании), но и с предыдущей версией. Такое исследование называется А/А-тестированием.

Постоянное измерение того, как улучшение повлияло на метрики продукта, – важная часть культуры компании. В современных продуктовых компаниях существует практика повторяющихся встреч для мониторинга ситуации, на которых владельцы продукта рассказывают всем заинтересованным лицам о бизнес-результатах внедрения той или иной функциональности. Такие встречи позволяют учиться на чужих ошибках в случае неудачи и привносить новые идеи по своим направлениям.

Постоянный анализ результатов внедрения – обязательная часть производственного процесса.

Тестирование решения на определенной группе пользователей дает достаточно данных для принятия статистически обоснованных решений, но без наблюдения за пользователями не всегда получается разобраться в причинах каких-либо явлений.

Дизайн продукта – это постоянный поиск баланса, в котором задействуются разные виды исследований, в зависимости от местоположения «слепого пятна» – того этапа сервисного сценария, для которого пока невозможно объяснить значение метрик или их изменения.