Есть в играх и конкретно в геймдизайне одна тема, которая временами мне кажется просто какой-то магией, чем-то сложным и близким к тому, что называется творчеством.

Это модели монетизации. Что мы продаем пользователю, какой опыт и какое поведение монетизируем. Например, в шутерах важна конкуренция, и можем ее монетизировать через продажу мощности (что чаще всего), продажу геймплея или продажу скинов и прочих блестяшек (правда, для этого нужна огромная аудитория).

Магия для меня в том, как это придумывать. Люди много лет продавали сложность в match3, потом прикрутили мету и стали продавать ее. А потом появились Dream со своими Royal Match и показали, что можно продавать винстрик (и, соответственно, делать многослойный лайвопс), полностью изменив этим жанр. Как они пришли к этому? Как можно придумывать вещи такого плана? Не знаю.

Где-то рядом лежат всякие монетизаицонные механики. Гача, баттлпасс, свинья-копилка, подписки, одноразовые офферы, офферы с альтернативами, вот это вот все -- оно же эксплуатирует разные паттерны, как пользователи обращаются с деньгами/ценностью и принимают решение о платеже. Я бы хотел уметь придумывать такое.

Это все, конечно, не про аналитику. С другой стороны, я не представляю, как можно быть хорошим аналитиком в геймдеве, не погружаясь глубоко в устройство монетизации игры.

Занимаюсь тут чем-то вроде ментальной эквилибристики — оцениваю, какой вклад в ретеншен 14 дня может дать ивент, который доступен пользователям с одного из ранних уровней и предполагает свои квесты и игру в отдельных локациях.

Пошел по пути сценарного моделирования, так как на руках нет ничего кроме концепта фичи, похожих фич на других проектах также нет в опыте. И начал с того, что попробовал определить вариативные точки и разложить аудиторию на сегменты.

Во-первых, не все пользователи вовлекутся в ивент, есть те, кому интересно играть и в основной сторилайн. И это первая точка вариативности — вовлечение в ивент может быть и 20%, и 80%.

Во-вторых, пользователям ивент доступен не с начала игры, при этом пользователи играют с разной скоростью. То есть, пользователи, начавшие играть в ивент в день инсталла и начавшие на пятый день — разные пользователи, с разной вероятностью вернуться на 14 день. Для каждого дня я брал относительный ретеншен — какая доля пользователей, достигших уровня Х в этот день, вернется на 14 день.

Ивент может по-разному удерживать вовлеченных пользователей — их относительный ретеншен может подняться и на 10%, и на 50% (вряд ли больше). И это вторая точка вариативности.

В итоге у меня получается несколько сегментов, у каждого своя вероятность вернуться на 14 день: пользователи, которые за все 13 дней не дошли до уровня открытия ивента, какая-то доля пользователей, кто доходит до целевого уровня и не вовлекшиеся в ивент, и дошедшие до целевого уровня и вовлекшиеся в ивент. Доля вовлекшихся и удерживающая сила ивента — точки вариативности, которые позволяют определить оптимистичный и пессимистичный сценарии. Применяем эти коэффициенты и получаем, сколько в том или ином сценарии вернется на 14 день.

В целом задачка получилась забавная. Формально такие оценки нужны для решения, нужно ли делать фичу и в каком приоритете. Лично мне было любопытно поковыряться именно с методологией — пока не определил точки вариативности и не сформулировал сегменты, прям в ступоре сидел.

Земля обошла оборот и пришла на рубеж.

Год получился сложный, насыщенный на ситуации и изменения. Окончательно ушел из ВШЭ. Ушел из Pixonic. В декабре чуть было не ушел и из нынешней компании, но и это не точно. Я от бабушки ушел, я от дедушки ушел… с зайцем затяжные переговоры.

Закончил обучение коучингу (ICF), оно неплохо легло на мое психотерапевтическое прошлое. Менторил несколько крутых ребят. К слову — приходите, если ощущаете потребность в изменениях.

Мало читал умного, не очень много писал в блог. При этом хочется говорить про аналитику больше. В последний раз я прибегал к внутренним дедлайнами, когда писал учебник по R. Кажется, пришло время вернуться к этой практике.

Покой — это ложь. Спасибо, что читаете и комментируете.

С новым годом вас.

Конец первой рабочей недели. Смотришь на процессы и думаешь: "ну почему так". Но это даже вполне конкретный вопрос на фоне общего "что вообще происходит-то?". В общем, новогодние праздники вполне себе неплохой способ обнулиться и на некоторые вещи посмотреть по-новому. А пока сознание медленно возвращается в тело, делюсь размышлением из черновиков.

Вот люблю вроде бы простые вопросы, типа округления по умолчанию или номеров недели. Тронешь — а там зияющие высоты.

Казалось бы — простая фича, бонусная харда к покупке. Как ее логировать, как платную или как бесплатную? С одной стороны, это подарок. С другой стороны, которой я придерживаюсь — это бандл с скидкой. Но что если в проекте всегда был фиксированный курс харды? Как вообще геймдизайнеры подходят к формированию стоимости предметов (ну, если забыть, что мы вообще пиксели продаем)? А если признать, что это платная харда по другому курсу, что делать с инфляцией и/или профицитом, которые почти неизбежно возникнут через какое-то время? А если считать подарком, то не не слишком ли много мы бесплатной харды выдаем?

В общем, любопытно. Пока решили, что это бесплатная харда с отдельной категорией транзакции, чтобы можно было оценить ее объем в общем приходе. Но если учесть, что на проекте паки бустеров продаются со большой скидкой, курс харды расчитан по первому инапу, а вся экономика считается в хардовом эквиваленте... Возникает ощущение, будто наклеил заплатку на трещину в плотине. Понятно, что через какое-то время придется делать ревизию экономики и как минимум делать потоки ресурсов более прозрачными. Но как глубока эта нора — вопрос открытый.

Выпустили мы тут недавно один прототип. Тестировали Ret d1, как обычно. Метрики оказались так себе, правда. Все опечалились, пошли думать, что делать дальше. А там обсуждения, новый год, месяц и прошел.

И внезапно оказалось, что retention d30 у проекта какой-то неприлично большой. Особенно если учесть, что это почти гибридкэж с контентом от силы на пару дней.

Стали разбираться. В ход пошло все — и перепроверка дашбордов и данных сервиса атрибуции. И расследования, не было ли каких багов в логировании (оказалось, что были, но про другое). И сравнение формы кривой с другим периодом закупки на другом гео. Естественно, в итоге докатились до “а как бы проверить, не боты ли”.

И тоже нет. На тридцатый день большая часть аудитории ходит в корлуп, да не по одному разу. Нет пользователей с какими-то регулярными паттернами. Даже названия моделей девайсов более-менее привычные. Кажется, все-таки не боты

Аналитик, которая делала исследование, даже призналась, что расстроилась, что не боты. И я ее в чем-то понимаю.

Опросы пользователей без попутного сопоставления с игровыми данными — обманчивая штука. Я уже вроде рассказывал, как некоторое время назад мы спрашивали пользователей, “как изменилась ваша активность за последнюю неделю?”. А потом сравнивали с тем, насколько реально изменилась их активность (по количеству активных дней, например). Конечно же половина тех, кто сказал “стал играть больше”, на самом деле стали заходить реже или в лучшем случае столько же.

И сейчас подобный кейс приключился: спрашивали пользователей, как они относятся к ивенту, очень уж нас напрягали негативные отзывы. Потом посмотрели, кто и какие отзывы оставляет и как играет. И оказалось, что негативные отзывы оставляют лояльные и платящие игроки. А положительные — те, кто в скором времени отваливается. В конце концов, если мне все равно, то можно и не расстраивать разработчиков, и поставить высокую оценку.

Осталось, правда, теперь понять, что делать с этими результатами. Воспринимать негативные оценки как фидбек от лояльных пользователей — да, конечно. Но они и так играют и платят, рычаг изменений вряд ли большой. А те, кто отваливается, не дают зацепок, как их можно оставить.

Прекрасные ребята из AppMagic пару дней назад опубликовали новый инструмент — графики распределения инап-платежей.

Работает на данных Google Play и iOS, топ-1000 приложений US-рынка, включая и неигровые. Местами с детскими болезнями — группировка только по названию пака (по прайс-тирам группировку можно сделать только руками в выгрузке), названия взяты из не всегда читаемых SKU, всего доступны топ-20 инапов.

Я пока только изучаю, но потенциально очень интересная штука — можно посмотреть, какие по размеру платежи делают пользователи, на чем конвертятся, структуру ревеню по категориям (какую долю составляет банк, а какую — офферы?), доля каких-то конкретных фич типа пигги-банка, стартерпаков, энергии и т. д.

Говорят, сеньоров не существует, потому что их никто не видел на рынке. Конечно же это лукавство и ламентации хэдов.

Вот, смотрите. Сеньор, аналитик и просто очень хороший человек. Громче наших споров в Pixonic были только забавы маркетинга, наверное. Сам бы нанял, но у меня лапки. Настоятельно рекомендую.

Пишите Александру в ln или в телеге. При необходимости могу дать более детальные рекомендации.

Всем, у кого конец квартала, обсуждения OKR, приоритизация фич и прочая корпоративщина, посвящается.

Одна из ошибок в отчетах — несоответствие выводов и проведенного анализа. В некоторых случаях — несоответствие цели исследования и проведенного анализа. В крайних случаях — всех трех компонент. Притом это характерно не только для аналитиков, но в целом для исследователей — подобное я видел и у ux-еров, и в курсовых работах студентов.

Простейший пример. Недавно возникла гипотеза, что мы, может быть, зря деприоритизировали работу со звуком в наших играх. Соответственно, пошли исследовать, какая доля аудитории играет со звуком, как эта доля распределена по платящим группам и тому подобное.

А потом в отчете я вижу вот такую фразу:

В сегменте X пользователи чаще играют без звука. Эти пользователи чаще играют в условиях, требующих тишины (офис, транспорт, семья), либо звук им мешает фокусироваться.

Первое утверждение корректное, оно подтверждается данными. Далее — уже предположения, почему эти пользователи так себя ведут. Но эти предположения никак не проверены, в отчете нет ни результатов опросов, ни интервью, которые позволили бы делать такое утверждение.

Это, конечно, немного гротескный пример, хоть и реальный. Обычно подобные ошибки тоньше и незаметнее, правдоподобнее, и их иногда делают даже опытные аналитики.

Но самое плохое во всем этом то, что в какой-то момент предположение может начать восприниматься как реальность. Особенно этим грешат заинтересованные в успешном успехе фичеовнеры. Впрочем, про это стоит говорить отдельно уже.

После отпуска начал разбирать разные отчеты и исследования. Так, в конце марта NEWHR выпустили очередное исследование по рынку аналитиков в 2025 году.

Внутри много разного — где работают, сколько получают, какие задачи делают, кого читают. К слову, в списке экспертов было приятно видеть много знакомых фамилий. При этом пул авторов, по ощущениям, не сильно меняется от года к году.

Из того, что мне показалось интересным. Во-первых, конечно же, зарплатные вилки продуктовых аналитиков. Я был несколько озадачен — геймдев традиционно платит ниже рынка, но и по комментариям в некоторых чатах эти вилки весьма оптимистичные. “где деньги, Билли?”

Во-вторых, NEWHR фиксируют снижение запроса на начинающих аналитиков. Интересно, потому что некоторые знакомые хэды, кто ищет игровых аналитиков, говорят, что в последнее время чаще собесят сеньоров, чем миддлов. Хотя казалось бы, “сеньоров не сущствует”. А с развитием AI-аналитики вся грейдовая сетка скоро поплывет и трансформируется, видимо.

В-третьих, растущий консерватизм, неудивительный в смутные и не особо тучные времена. Перестает работать логика “хочешь больше денег — уходи в другую компанию”, рост зп через индексацию и повышение грейда, с трудом покрывающие инфляцию. И в целом традиционная лояльность профессии — подавляющее большинство собирается оставаться в аналитике. Хотя, опять-таки, я нередко слышу размышления в духе “как бы выйти из айти”, да и сам им подвержен, что скрывать.

В общем, читайте: https://newhr.org/data/research-analysts-2025
А на экспертов можно посмотреть и подписаться тут: https://newhr.org/data/experts-analytics-2025

Задачка из недавнего отчета.

У нас есть игра с очень большим нарративным пластом — тексты, истории, диалоги и все такое. Есть сторилайн — цепочка квестов основной истории. Есть сайд-квесты, которые открываются не сразу (где-то с 8-10 уровня). Это побочные истории, чтобы немного разнообразить жизнь пользователя.

У геймдиза появилась гипотеза, что когда мы на пользователя вываливаем кучу сайд-квестов, пользователи теряются и отваливаются. И, может быть, стоит упырить мел с сайд-квестами и больше вести пользователей по сторилайну

Аналитик разделил пользователей по доле сайд-квестов от общего числа сделанных квестов. И посмотрел их ретеншен (смотрите табличку на скриншоте).

Соответственно, два вопроса. Какую ошибку совершил аналитик и как бы вы проверяли эту гипотезу? (значения в табличке не очень настоящие, но в целом отражают особенности сегментов)

Свой ответ опубликую в понедельник вечером.

#exercises

Мой ответ на недавнюю задачку.
Спасибо всем, принявшим участие в обсуждении.

Первое, что настораживает в табличке — низкий ретеншен пользователей, предпочитающих сторилайн-квесты. Такие пользователи удерживаются лишь немногим лучше, чем те, кто вообще не делал никаких квестов. И это контринтуитивный вывод, так как мы делаем основную историю как раз для средне- и дальнесрочной мотивации игрока.

Это ошибка, которая обусловлена спецификой игровых данных — в них всегда зашита пользовательская прогрессия. В данном случае в этот сегмент попали преимущественно те пользователи, которые отвалились до 8 уровня (когда появляются сайд-квесты) или немногим позже. Поэтому у них почти нет сайд-квестов и они выглядят как “предпочитающие сторилайн-квесты”.

Соответственно нельзя смотреть и просто отвалы после 8го уровня, где сайд-квесты появляются — пользователи просто на эффекте новизны могут в них начать много играть, а потом баланс выровняется.

Количество предпочитающих сайд-квесты — еще один странный момент. Судя по количеству и хорошему ретеншену, как правильно заметила @nkolokolnikova, это просто лояльные и/или платящие игроки. Или действительно больше играющие в сайд-квесты.

Мое решение. Конечно же, “семь бед — один аб-тест”, но далеко не всегда тесты можно быстро/легко/безболезненно провести. Поэтому я предложил разбить прогрессию по бинам в пять уровней и сегментировать пользователей по доле сайд-квестов в этом бине. И потом уже смотреть конверсию в следующий бин в этих сегментах.

#exercises

Не аналитическое, но техническое и забавное.

Недавно Che (исследователь-когнитивист, профессор, гурман и просто мой хороший друг) принес посмотреть код одной статьи. Статья третьих авторов, про ботов в онлайн-экспериментах. Ему показалось, что там есть косяк в расчетах и он хотел еще одной оценки.

Открыл я код, а там… как будто последних двадцати пяти лет развития языка не было (код на R). Архаичные конструкции, базовый R без каких-либо пакетов, глобальные присвоения из области видимости функции, и прочий мрак и ужас. В студенческих работах, конечно, можно и не такое встретить. Но тут-то вроде взрослые и достаточно опытные исследователи, почему.

И да, баг был. Реализация groupby, которая была использована в коде (tapply), чувствительна к порядку сортировки наблюдений. А в данных как раз оказалось так, что по одному испытуемому была проведена еще одна сессия, под тем же id, но не подряд с предыдущей сессией. Само собой, в современных фреймворках для работы с таблицами такой дичи не встретишь.

Мораль сей прохладной истории проста — идите в ногу со временем и не копите техдолг. Чтобы не было багов и вопросов в духе “а представь, какого качества их исследования, если они пишут такой код”. Это и про обновления pandas с 1.X махом до 3.Х, и про AI-инструменты будь они прокляты, которые хотят сейчас все и везде, и про прочие кейсы отчаянного консерватизма, граничащего с неолуддизмом.

И вообще. Как говорил коллеге один мой лид много лет назад, “не слишком ли ты молод, чтобы быть старовером?”. Что-то в его предъяве было, пожалуй.

Вот так вот возвращаешься из насыщенного отпуска, а тут Supercell доели Metacore.

Любопытная, конечно, история. Metacore придумали merge-2, однако в последнее время дела у Merge Mansion идут так себе — конкуренты злые, ревень не растет или даже падает, все дела. При этом рынок вполне богатый — топ в жанре безостановочно растет и зарабатывает в десять раз больше (храни темная четверка ребят из AppMagic, благодаря которым я могу это все видеть). И придумать новую игру у Metacore не получилось. Тоже, впрочем, знакомая печальная история.

У меня была серия интервью с Metacore в 2023 году. В какой-то момент не стал продолжать, о чем временами жалею, потом и позиция закрылась. А сейчас они сократят 160 человек только в Финляндии, плюс под вопросом офисы в Германии и Швеции. Глядишь, был бы сейчас в Supercell. Или за бортом.

Есть еще один интересный момент — Supercell уверены, что смогут своим подходом к оперированию разогнать Merge Mansion. Очень интересно, как это у них получится.

А как у вас дела?

Да что ж такое-то. Хоть в отпуск не ходи.
Sensor Tower сначала купил data.ai (в девичестве appannie). А теперь вот и AppMagic.
Что ж. Наверное поздравляю. Надеюсь, и сервис, и ребята от этого только выиграют.