На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.

План эксперимента

Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нем конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.

На самом же деле все было несколько хитрее.

– Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.

– Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было еще несколько вопросов, основная часть из которых была обязательной. Таким образом мы хотели попутно протестировать еще несколько интересных гипотез.

В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.

Пара дисклеймеров

Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два рекламных стенда, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, тоже были двух видов.

По истечении нескольких часов мы увидели, что число респондентов в группе A значительно превосходит группу B, и было принято решение поменять рекламные стенды местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось буквально за руку привести нескольких людей и дать им нужный флаер.

В конечном счете все получилось, и сейчас самое время рассказать об этом.

Общие данные

Всего у нас было 103 респондента, из которых 77 – мужчины, а 26 – женщины. У нас был еще вариант «предпочитаю не указывать», но его никто не выбрал.

51 респондент оказался в группе A, 52 – в группе B.