Опросы пользователей без попутного сопоставления с игровыми данными — обманчивая штука. Я уже вроде рассказывал, как некоторое время назад мы спрашивали пользователей, “как изменилась ваша активность за последнюю неделю?”. А потом сравнивали с тем, насколько реально изменилась их активность (по количеству активных дней, например). Конечно же половина тех, кто сказал “стал играть больше”, на самом деле стали заходить реже или в лучшем случае столько же.

И сейчас подобный кейс приключился: спрашивали пользователей, как они относятся к ивенту, очень уж нас напрягали негативные отзывы. Потом посмотрели, кто и какие отзывы оставляет и как играет. И оказалось, что негативные отзывы оставляют лояльные и платящие игроки. А положительные — те, кто в скором времени отваливается. В конце концов, если мне все равно, то можно и не расстраивать разработчиков, и поставить высокую оценку.

Осталось, правда, теперь понять, что делать с этими результатами. Воспринимать негативные оценки как фидбек от лояльных пользователей — да, конечно. Но они и так играют и платят, рычаг изменений вряд ли большой. А те, кто отваливается, не дают зацепок, как их можно оставить.

Прекрасные ребята из AppMagic пару дней назад опубликовали новый инструмент — графики распределения инап-платежей.

Работает на данных Google Play и iOS, топ-1000 приложений US-рынка, включая и неигровые. Местами с детскими болезнями — группировка только по названию пака (по прайс-тирам группировку можно сделать только руками в выгрузке), названия взяты из не всегда читаемых SKU, всего доступны топ-20 инапов.

Я пока только изучаю, но потенциально очень интересная штука — можно посмотреть, какие по размеру платежи делают пользователи, на чем конвертятся, структуру ревеню по категориям (какую долю составляет банк, а какую — офферы?), доля каких-то конкретных фич типа пигги-банка, стартерпаков, энергии и т. д.

Говорят, сеньоров не существует, потому что их никто не видел на рынке. Конечно же это лукавство и ламентации хэдов.

Вот, смотрите. Сеньор, аналитик и просто очень хороший человек. Громче наших споров в Pixonic были только забавы маркетинга, наверное. Сам бы нанял, но у меня лапки. Настоятельно рекомендую.

Пишите Александру в ln или в телеге. При необходимости могу дать более детальные рекомендации.

Всем, у кого конец квартала, обсуждения OKR, приоритизация фич и прочая корпоративщина, посвящается.

Одна из ошибок в отчетах — несоответствие выводов и проведенного анализа. В некоторых случаях — несоответствие цели исследования и проведенного анализа. В крайних случаях — всех трех компонент. Притом это характерно не только для аналитиков, но в целом для исследователей — подобное я видел и у ux-еров, и в курсовых работах студентов.

Простейший пример. Недавно возникла гипотеза, что мы, может быть, зря деприоритизировали работу со звуком в наших играх. Соответственно, пошли исследовать, какая доля аудитории играет со звуком, как эта доля распределена по платящим группам и тому подобное.

А потом в отчете я вижу вот такую фразу:

В сегменте X пользователи чаще играют без звука. Эти пользователи чаще играют в условиях, требующих тишины (офис, транспорт, семья), либо звук им мешает фокусироваться.

Первое утверждение корректное, оно подтверждается данными. Далее — уже предположения, почему эти пользователи так себя ведут. Но эти предположения никак не проверены, в отчете нет ни результатов опросов, ни интервью, которые позволили бы делать такое утверждение.

Это, конечно, немного гротескный пример, хоть и реальный. Обычно подобные ошибки тоньше и незаметнее, правдоподобнее, и их иногда делают даже опытные аналитики.

Но самое плохое во всем этом то, что в какой-то момент предположение может начать восприниматься как реальность. Особенно этим грешат заинтересованные в успешном успехе фичеовнеры. Впрочем, про это стоит говорить отдельно уже.

После отпуска начал разбирать разные отчеты и исследования. Так, в конце марта NEWHR выпустили очередное исследование по рынку аналитиков в 2025 году.

Внутри много разного — где работают, сколько получают, какие задачи делают, кого читают. К слову, в списке экспертов было приятно видеть много знакомых фамилий. При этом пул авторов, по ощущениям, не сильно меняется от года к году.

Из того, что мне показалось интересным. Во-первых, конечно же, зарплатные вилки продуктовых аналитиков. Я был несколько озадачен — геймдев традиционно платит ниже рынка, но и по комментариям в некоторых чатах эти вилки весьма оптимистичные. “где деньги, Билли?”

Во-вторых, NEWHR фиксируют снижение запроса на начинающих аналитиков. Интересно, потому что некоторые знакомые хэды, кто ищет игровых аналитиков, говорят, что в последнее время чаще собесят сеньоров, чем миддлов. Хотя казалось бы, “сеньоров не сущствует”. А с развитием AI-аналитики вся грейдовая сетка скоро поплывет и трансформируется, видимо.

В-третьих, растущий консерватизм, неудивительный в смутные и не особо тучные времена. Перестает работать логика “хочешь больше денег — уходи в другую компанию”, рост зп через индексацию и повышение грейда, с трудом покрывающие инфляцию. И в целом традиционная лояльность профессии — подавляющее большинство собирается оставаться в аналитике. Хотя, опять-таки, я нередко слышу размышления в духе “как бы выйти из айти”, да и сам им подвержен, что скрывать.

В общем, читайте: https://newhr.org/data/research-analysts-2025
А на экспертов можно посмотреть и подписаться тут: https://newhr.org/data/experts-analytics-2025

Задачка из недавнего отчета.

У нас есть игра с очень большим нарративным пластом — тексты, истории, диалоги и все такое. Есть сторилайн — цепочка квестов основной истории. Есть сайд-квесты, которые открываются не сразу (где-то с 8-10 уровня). Это побочные истории, чтобы немного разнообразить жизнь пользователя.

У геймдиза появилась гипотеза, что когда мы на пользователя вываливаем кучу сайд-квестов, пользователи теряются и отваливаются. И, может быть, стоит упырить мел с сайд-квестами и больше вести пользователей по сторилайну

Аналитик разделил пользователей по доле сайд-квестов от общего числа сделанных квестов. И посмотрел их ретеншен (смотрите табличку на скриншоте).

Соответственно, два вопроса. Какую ошибку совершил аналитик и как бы вы проверяли эту гипотезу? (значения в табличке не очень настоящие, но в целом отражают особенности сегментов)

Свой ответ опубликую в понедельник вечером.

#exercises

Мой ответ на недавнюю задачку.
Спасибо всем, принявшим участие в обсуждении.

Первое, что настораживает в табличке — низкий ретеншен пользователей, предпочитающих сторилайн-квесты. Такие пользователи удерживаются лишь немногим лучше, чем те, кто вообще не делал никаких квестов. И это контринтуитивный вывод, так как мы делаем основную историю как раз для средне- и дальнесрочной мотивации игрока.

Это ошибка, которая обусловлена спецификой игровых данных — в них всегда зашита пользовательская прогрессия. В данном случае в этот сегмент попали преимущественно те пользователи, которые отвалились до 8 уровня (когда появляются сайд-квесты) или немногим позже. Поэтому у них почти нет сайд-квестов и они выглядят как “предпочитающие сторилайн-квесты”.

Соответственно нельзя смотреть и просто отвалы после 8го уровня, где сайд-квесты появляются — пользователи просто на эффекте новизны могут в них начать много играть, а потом баланс выровняется.

Количество предпочитающих сайд-квесты — еще один странный момент. Судя по количеству и хорошему ретеншену, как правильно заметила @nkolokolnikova, это просто лояльные и/или платящие игроки. Или действительно больше играющие в сайд-квесты.

Мое решение. Конечно же, “семь бед — один аб-тест”, но далеко не всегда тесты можно быстро/легко/безболезненно провести. Поэтому я предложил разбить прогрессию по бинам в пять уровней и сегментировать пользователей по доле сайд-квестов в этом бине. И потом уже смотреть конверсию в следующий бин в этих сегментах.

#exercises

Не аналитическое, но техническое и забавное.

Недавно Che (исследователь-когнитивист, профессор, гурман и просто мой хороший друг) принес посмотреть код одной статьи. Статья третьих авторов, про ботов в онлайн-экспериментах. Ему показалось, что там есть косяк в расчетах и он хотел еще одной оценки.

Открыл я код, а там… как будто последних двадцати пяти лет развития языка не было (код на R). Архаичные конструкции, базовый R без каких-либо пакетов, глобальные присвоения из области видимости функции, и прочий мрак и ужас. В студенческих работах, конечно, можно и не такое встретить. Но тут-то вроде взрослые и достаточно опытные исследователи, почему.

И да, баг был. Реализация groupby, которая была использована в коде (tapply), чувствительна к порядку сортировки наблюдений. А в данных как раз оказалось так, что по одному испытуемому была проведена еще одна сессия, под тем же id, но не подряд с предыдущей сессией. Само собой, в современных фреймворках для работы с таблицами такой дичи не встретишь.

Мораль сей прохладной истории проста — идите в ногу со временем и не копите техдолг. Чтобы не было багов и вопросов в духе “а представь, какого качества их исследования, если они пишут такой код”. Это и про обновления pandas с 1.X махом до 3.Х, и про AI-инструменты будь они прокляты, которые хотят сейчас все и везде, и про прочие кейсы отчаянного консерватизма, граничащего с неолуддизмом.

И вообще. Как говорил коллеге один мой лид много лет назад, “не слишком ли ты молод, чтобы быть старовером?”. Что-то в его предъяве было, пожалуй.

Вот так вот возвращаешься из насыщенного отпуска, а тут Supercell доели Metacore.

Любопытная, конечно, история. Metacore придумали merge-2, однако в последнее время дела у Merge Mansion идут так себе — конкуренты злые, ревень не растет или даже падает, все дела. При этом рынок вполне богатый — топ в жанре безостановочно растет и зарабатывает в десять раз больше (храни темная четверка ребят из AppMagic, благодаря которым я могу это все видеть). И придумать новую игру у Metacore не получилось. Тоже, впрочем, знакомая печальная история.

У меня была серия интервью с Metacore в 2023 году. В какой-то момент не стал продолжать, о чем временами жалею, потом и позиция закрылась. А сейчас они сократят 160 человек только в Финляндии, плюс под вопросом офисы в Германии и Швеции. Глядишь, был бы сейчас в Supercell. Или за бортом.

Есть еще один интересный момент — Supercell уверены, что смогут своим подходом к оперированию разогнать Merge Mansion. Очень интересно, как это у них получится.

А как у вас дела?

Да что ж такое-то. Хоть в отпуск не ходи.
Sensor Tower сначала купил data.ai (в девичестве appannie). А теперь вот и AppMagic.
Что ж. Наверное поздравляю. Надеюсь, и сервис, и ребята от этого только выиграют.