Вчера наблюдал ожесточенные споры, по накалу сравнимые с холиварами эпохи дикого интернета. А камень преткновения обманчиво очевидный — как измерять вовлеченность пользователя в мини-ивент? Чтобы понимать, ивент еще интересен пользователям или выгорел.

С более простыми механиками типа квестов, баттлпассов или длинных контентных ивентов все более-менее понятно. А вот с мини-ивентами, которые по сути почти ничего не требуют от пользователя и опираются на его обычную игру, сильно сложнее. Например, каскады или лава-квесты (прошел семь уровней подряд — выиграл квест), или даже локальные лидерборды.

Можно считать вовлекшимся в ивент пользователя, который нажал “старт” или получил награду? К слову, я за этот вараинт. Но может быть не очень понятно, этот ивент как-то повлиял на поведение пользователя, простимулировал ли его играть активнее или нет.

А можно смотреть относительную метрику — стал ли пользователь больше играть (проходить больше уровней) после старта ивента относительно периода до ивента. И вроде бы мотивирующая сила тут понятна. Но это относительная метрика, непонятно, где граница значимого увеличения. И сложно атрибуцировать к конкретному ивенту, так как в игре может быть много самых разных подобных мотиваторов играть активнее одновременно. Не говоря уже о просто неприятной сложности расчета таких метрик.

В общем, вариантов много, стороны отчаянно рубятся на тему, что же такое “вовлечение” и не очень готовы уступать. Скоро следующая серия, даже интересно, к чему все придет в итоге.

Дружеского пиара пост.

Когда-то давно мы в ODS в канале #jobs требовали указания вилок во всех вакансиях, чтобы была опредленная прозрачность на рынке. И чтобы все — и соискатели, и работодатели могли понимать, сколько может стоить на рынке специалист с тем или иным набором навыков.

Потом ODS кончился и с прозрачностью стало несколько сложнее. В последнее время один из наиболее доступных источников подобных данных (а также кучи данных про работодателей, зоны ответственности и прочее) — ежегодные опросы NEWHR.

В этом году есть изменения — ребята адаптировали вопросы также для руководителей аналитики, системных и бизнес-аналитиков.

В общем. Если вы дата/продуктовый/BI/маркетинговый/системные/бизнес/веб-аналитик или вообще руководитель — потратьте, пожалуйста, немного своего бесценного времени и пройдите опросник.

Результаты планируются в начале 2026 года, но с участниками обещают поделиться промежуточными результатами.

Еще один пост дружеского пиара.

Ноябрь традиционно черный месяц. Но также это месяц прельстивого Матемаркетинга. 20-21 ноября, кластер Ломоносов, встречайте. Онлайн-секция в начале ноября.

На сайте уже доступна программа. И она вызывает странные ощущения: вроде как Матермаркетинг, а вайбы Aha очень сильные — половина докладов от продуктовых аналитиков. Есть, конечно же доклады по маркетинговой аналитике, хорошие доклады по статистике, трек по AI (куда уж без него). Ну и не без странных треков типа HR-трека, Академии Excel и Well-being.

Из того, что меня заинтересовало:

- Как собирать и унифицировать метрики для A/B-экспериментов с помощью Metrics Definition Language (Артём Прокопенко, Циан). Мне всегда интересна тема разметки, а тут аж MDL придумали.
- Методология замера кумулятивных эффектов в онлайне в X5 Retail Group (многомудрый Сергей Матросов, X5 Retail Group). Самый, наверное, важный для меня доклад, так как у меня регулярно возникает вопрос, как бы так замерить эффект от фич, сделанных в отчетный период, но выборки на тесты и holdout не хватает.
- Опыт разработки статистического критерия для многомерных A/B-тестов (Дмитрий Забавин, Glowbyte). Продолжение темы, которая была на Aha.
- Кто на самом деле влияет на метрику: методика разложения дельты по сегментам (Михаил Строганов, Magnit Omni). Я обычно связь падения метрики с тем или иным сегментом смотрел на дашбордах, визуально. А тут предлагают более строгую методологию. Интересно, как это работает.
- Uplift-модель, которая поняла бизнес: путь от теории к счастью клиентов (Виктор Харламов, Т-Банк). Сама тема мне не так чтобы горит, но я с большим удовольствием читаю канал Виктора (неистово рекомендую!), и, думаю, может быть интересно.
- Как мы получили p < 0.001 на 10 наблюдениях в группе. Ультимативный гайд по A/B-экспериментам на малых выборках (Андрей Романов, Авито). Еще одна больная тема — мне выборки почти всегда недостаточно и хочется послушать рабочие решения.

Я с очень высокой вероятностью и к моему большому сожалению пропущу этот датасатанистский шабаш. Но если у вас есть возможность — сходите.

Цены, к сожалению, по-ноябрьски суровы, но обещают скидку по промокоду DICEANALYTICS10.

Наблюдаю одновременно смешную и грустную битву, почти как битву Бобра с Ослом, когда стая Светлых героев окружила Темного властелина и жестоко его убила.

Сделали фичу (мини-ивент). Загнали в аб-тест, в качестве целевой выбрали монетизационную метрику, в контроле — некоторые поведенческие. Тест не прокрасился, нет значимых изменений ни в целевой, ни в контрольных. Есть некоторые положительные изменения в маленьких сегментах суперкитов, но на общую картину они не влияют.

Продакт считает, что фичу надо раскатывать. Она не сделала хуже, возможно для кого-то сделала лучше. Но фича есть у всех конкурентов и у них отлично себя показывает. То, что слабо сработала тут — особенности экономики и лайвопса проекта, план по их изменению есть. А пользователей все же надо развлекать новым контентом.

Аналитики хором говорят, что раз изменений в целевой нет, то катить ничего не надо, так как фича не выполнила поставленных целей. Переобуваться после проведения теста тоже не надо. А о всяких дополнительных факторах принятия решения надо было думать и объявлять заранее.

В общем, строгие формальности data-driven против слабо формализуемых продуктовых аргументов и data-informed. Я лично склоняюсь к последнему и в данном кейсе на стороне продакта.

Соблазнился заголовками и купил подпиcку на премиум-материалы App2Top.

Читал “Социальные кооп-игры для друзей — главный инди-тренд года” (@NastiaKolchina смотрю на тебя и твой матч2). Как и обещают, внутри попытка определить тренд, анализ рынка и структура выручки в жанре. Самое интересное — основные характеристики жанра (низкая стоимость, странная физика, сессионность без прогрессии т. д.) и структура жанра по выручке.

У меня уже давно есть ощущение, что кооперативные игры и механики будут только усиливаться — я даже пару лет назад, когда проходил курс по трендвотчингу, как раз хотел сделать проект на эту тему. В частности, после того, как увидел, что в одном из опросов в нашем прототипе-шутере некоторые респонденты заявили, что им неинтересны лидерборды и они хотят играть с друзьями.

Но статья, к сожалению, короткая и слабая. Описание критериев и рынка — да, хорошо. Гемдизайнерского разбора мало. Но когда надо отойти от описания и сделать чуть больше аналитики — совсем сомнительно. Например, чтобы утверждать “ХХХ — главный тренд”, хорошо бы перечислить существующие тренды и их соотношение. Ну и “спрос на недорогие кооперативные развлечения вряд ли исчезнет целиком. Сама суть таких проектов — весело проводить время с друзьями — неподвластна тенденциям”. Спасибо, кэп.

Я временами прокрастинирую развлекаюсь и пытаюсь догнать уходящий поезд — общаюсь с chatgpt на тему типовых задачек игровых аналитиков. Иногда даже неплохие идеи попадаются. А иногда — прям сомнительные советы.

Например, предлагаю построить стратегию оценки отдельного онбординг-ивента (в него можно ходить, можно не ходить).

И chatgpt, среди прочих адекватных инструментов типа а/б-тестов, предлагает вот такое:

Посегментировать по вовлечённости:
- не стартовал ивент,
- выполнил 1–2 задания,
- завершил весь ивент.
→ построить retention кривые по этим кластерам.

Выглядит красиво и логично, но проблема опять в ненаблюдаемой лояльности. Пользователь, который лучше проходит онбординг-ивент, скорее всего и без него вернется в игру. И эффект от онбординга в таком случае будет достаточно сложно выделить и оценить.

Впрочем, когда работаешь с черным ящиком, без возможности прямо измерить мотивацию и прочие подобные вещи, постоянно такая лажа получается — чистый бихевиоризм не работает и надо учитывать латентные факторы. Собственно, это одна из причин, на мой взгляд, почему игровым аналитикам критически важно доменное знание.

UPD. При другом запросе на схожую тему появилась вот такая формулировка. Приемлемо.

Но! это корреляция, не причинность — игроки, которые завершили ивент, изначально более вовлечённые и мотивированные.

Не опрос, но отчет по исследованию рынка труда, уже строго по геймдеву. Авторы исследования — Values Value и inGameJob, география — EU и восточная Европа, за исключением России.

Внутри — обзоры зарплат по грейдам и специальностям (жаль, что жанры не использовали), стата по переработкам, фрилансу и пет-проектам, по использованию AI, топ предпочитаемых компаний. Правда зарплаты аналитиков (про других не знаю) показались какими-то заниженными. Впрочем, может это просто мечты об изобилии…

Из забавного — аналитики больше прочих использовали AI в работе и нашли его полезным. А еще аналитики практически не боятся увольнений — более уверены в свом будущем только фаундеры.

И еще из интересного — есть стата, в каких жанрах хотели бы работать респонденты. И, судя по результатам, народ стремится в сторону мидкора и хардкора, по цепочке. Обратный отток из мидкора или хардкора в казуальщину отсутствует. И только один процент респондетов, работающих с гиперкэжем, хочет продолжать с ним работать. Вся боль индустрии, мне кажется.

Есть в играх и конкретно в геймдизайне одна тема, которая временами мне кажется просто какой-то магией, чем-то сложным и близким к тому, что называется творчеством.

Это модели монетизации. Что мы продаем пользователю, какой опыт и какое поведение монетизируем. Например, в шутерах важна конкуренция, и можем ее монетизировать через продажу мощности (что чаще всего), продажу геймплея или продажу скинов и прочих блестяшек (правда, для этого нужна огромная аудитория).

Магия для меня в том, как это придумывать. Люди много лет продавали сложность в match3, потом прикрутили мету и стали продавать ее. А потом появились Dream со своими Royal Match и показали, что можно продавать винстрик (и, соответственно, делать многослойный лайвопс), полностью изменив этим жанр. Как они пришли к этому? Как можно придумывать вещи такого плана? Не знаю.

Где-то рядом лежат всякие монетизаицонные механики. Гача, баттлпасс, свинья-копилка, подписки, одноразовые офферы, офферы с альтернативами, вот это вот все -- оно же эксплуатирует разные паттерны, как пользователи обращаются с деньгами/ценностью и принимают решение о платеже. Я бы хотел уметь придумывать такое.

Это все, конечно, не про аналитику. С другой стороны, я не представляю, как можно быть хорошим аналитиком в геймдеве, не погружаясь глубоко в устройство монетизации игры.

Занимаюсь тут чем-то вроде ментальной эквилибристики — оцениваю, какой вклад в ретеншен 14 дня может дать ивент, который доступен пользователям с одного из ранних уровней и предполагает свои квесты и игру в отдельных локациях.

Пошел по пути сценарного моделирования, так как на руках нет ничего кроме концепта фичи, похожих фич на других проектах также нет в опыте. И начал с того, что попробовал определить вариативные точки и разложить аудиторию на сегменты.

Во-первых, не все пользователи вовлекутся в ивент, есть те, кому интересно играть и в основной сторилайн. И это первая точка вариативности — вовлечение в ивент может быть и 20%, и 80%.

Во-вторых, пользователям ивент доступен не с начала игры, при этом пользователи играют с разной скоростью. То есть, пользователи, начавшие играть в ивент в день инсталла и начавшие на пятый день — разные пользователи, с разной вероятностью вернуться на 14 день. Для каждого дня я брал относительный ретеншен — какая доля пользователей, достигших уровня Х в этот день, вернется на 14 день.

Ивент может по-разному удерживать вовлеченных пользователей — их относительный ретеншен может подняться и на 10%, и на 50% (вряд ли больше). И это вторая точка вариативности.

В итоге у меня получается несколько сегментов, у каждого своя вероятность вернуться на 14 день: пользователи, которые за все 13 дней не дошли до уровня открытия ивента, какая-то доля пользователей, кто доходит до целевого уровня и не вовлекшиеся в ивент, и дошедшие до целевого уровня и вовлекшиеся в ивент. Доля вовлекшихся и удерживающая сила ивента — точки вариативности, которые позволяют определить оптимистичный и пессимистичный сценарии. Применяем эти коэффициенты и получаем, сколько в том или ином сценарии вернется на 14 день.

В целом задачка получилась забавная. Формально такие оценки нужны для решения, нужно ли делать фичу и в каком приоритете. Лично мне было любопытно поковыряться именно с методологией — пока не определил точки вариативности и не сформулировал сегменты, прям в ступоре сидел.

Земля обошла оборот и пришла на рубеж.

Год получился сложный, насыщенный на ситуации и изменения. Окончательно ушел из ВШЭ. Ушел из Pixonic. В декабре чуть было не ушел и из нынешней компании, но и это не точно. Я от бабушки ушел, я от дедушки ушел… с зайцем затяжные переговоры.

Закончил обучение коучингу (ICF), оно неплохо легло на мое психотерапевтическое прошлое. Менторил несколько крутых ребят. К слову — приходите, если ощущаете потребность в изменениях.

Мало читал умного, не очень много писал в блог. При этом хочется говорить про аналитику больше. В последний раз я прибегал к внутренним дедлайнами, когда писал учебник по R. Кажется, пришло время вернуться к этой практике.

Покой — это ложь. Спасибо, что читаете и комментируете.

С новым годом вас.

Конец первой рабочей недели. Смотришь на процессы и думаешь: "ну почему так". Но это даже вполне конкретный вопрос на фоне общего "что вообще происходит-то?". В общем, новогодние праздники вполне себе неплохой способ обнулиться и на некоторые вещи посмотреть по-новому. А пока сознание медленно возвращается в тело, делюсь размышлением из черновиков.

Вот люблю вроде бы простые вопросы, типа округления по умолчанию или номеров недели. Тронешь — а там зияющие высоты.

Казалось бы — простая фича, бонусная харда к покупке. Как ее логировать, как платную или как бесплатную? С одной стороны, это подарок. С другой стороны, которой я придерживаюсь — это бандл с скидкой. Но что если в проекте всегда был фиксированный курс харды? Как вообще геймдизайнеры подходят к формированию стоимости предметов (ну, если забыть, что мы вообще пиксели продаем)? А если признать, что это платная харда по другому курсу, что делать с инфляцией и/или профицитом, которые почти неизбежно возникнут через какое-то время? А если считать подарком, то не не слишком ли много мы бесплатной харды выдаем?

В общем, любопытно. Пока решили, что это бесплатная харда с отдельной категорией транзакции, чтобы можно было оценить ее объем в общем приходе. Но если учесть, что на проекте паки бустеров продаются со большой скидкой, курс харды расчитан по первому инапу, а вся экономика считается в хардовом эквиваленте... Возникает ощущение, будто наклеил заплатку на трещину в плотине. Понятно, что через какое-то время придется делать ревизию экономики и как минимум делать потоки ресурсов более прозрачными. Но как глубока эта нора — вопрос открытый.

Выпустили мы тут недавно один прототип. Тестировали Ret d1, как обычно. Метрики оказались так себе, правда. Все опечалились, пошли думать, что делать дальше. А там обсуждения, новый год, месяц и прошел.

И внезапно оказалось, что retention d30 у проекта какой-то неприлично большой. Особенно если учесть, что это почти гибридкэж с контентом от силы на пару дней.

Стали разбираться. В ход пошло все — и перепроверка дашбордов и данных сервиса атрибуции. И расследования, не было ли каких багов в логировании (оказалось, что были, но про другое). И сравнение формы кривой с другим периодом закупки на другом гео. Естественно, в итоге докатились до “а как бы проверить, не боты ли”.

И тоже нет. На тридцатый день большая часть аудитории ходит в корлуп, да не по одному разу. Нет пользователей с какими-то регулярными паттернами. Даже названия моделей девайсов более-менее привычные. Кажется, все-таки не боты

Аналитик, которая делала исследование, даже призналась, что расстроилась, что не боты. И я ее в чем-то понимаю.

Опросы пользователей без попутного сопоставления с игровыми данными — обманчивая штука. Я уже вроде рассказывал, как некоторое время назад мы спрашивали пользователей, “как изменилась ваша активность за последнюю неделю?”. А потом сравнивали с тем, насколько реально изменилась их активность (по количеству активных дней, например). Конечно же половина тех, кто сказал “стал играть больше”, на самом деле стали заходить реже или в лучшем случае столько же.

И сейчас подобный кейс приключился: спрашивали пользователей, как они относятся к ивенту, очень уж нас напрягали негативные отзывы. Потом посмотрели, кто и какие отзывы оставляет и как играет. И оказалось, что негативные отзывы оставляют лояльные и платящие игроки. А положительные — те, кто в скором времени отваливается. В конце концов, если мне все равно, то можно и не расстраивать разработчиков, и поставить высокую оценку.

Осталось, правда, теперь понять, что делать с этими результатами. Воспринимать негативные оценки как фидбек от лояльных пользователей — да, конечно. Но они и так играют и платят, рычаг изменений вряд ли большой. А те, кто отваливается, не дают зацепок, как их можно оставить.

Прекрасные ребята из AppMagic пару дней назад опубликовали новый инструмент — графики распределения инап-платежей.

Работает на данных Google Play и iOS, топ-1000 приложений US-рынка, включая и неигровые. Местами с детскими болезнями — группировка только по названию пака (по прайс-тирам группировку можно сделать только руками в выгрузке), названия взяты из не всегда читаемых SKU, всего доступны топ-20 инапов.

Я пока только изучаю, но потенциально очень интересная штука — можно посмотреть, какие по размеру платежи делают пользователи, на чем конвертятся, структуру ревеню по категориям (какую долю составляет банк, а какую — офферы?), доля каких-то конкретных фич типа пигги-банка, стартерпаков, энергии и т. д.

Говорят, сеньоров не существует, потому что их никто не видел на рынке. Конечно же это лукавство и ламентации хэдов.

Вот, смотрите. Сеньор, аналитик и просто очень хороший человек. Громче наших споров в Pixonic были только забавы маркетинга, наверное. Сам бы нанял, но у меня лапки. Настоятельно рекомендую.

Пишите Александру в ln или в телеге. При необходимости могу дать более детальные рекомендации.

Всем, у кого конец квартала, обсуждения OKR, приоритизация фич и прочая корпоративщина, посвящается.

Одна из ошибок в отчетах — несоответствие выводов и проведенного анализа. В некоторых случаях — несоответствие цели исследования и проведенного анализа. В крайних случаях — всех трех компонент. Притом это характерно не только для аналитиков, но в целом для исследователей — подобное я видел и у ux-еров, и в курсовых работах студентов.

Простейший пример. Недавно возникла гипотеза, что мы, может быть, зря деприоритизировали работу со звуком в наших играх. Соответственно, пошли исследовать, какая доля аудитории играет со звуком, как эта доля распределена по платящим группам и тому подобное.

А потом в отчете я вижу вот такую фразу:

В сегменте X пользователи чаще играют без звука. Эти пользователи чаще играют в условиях, требующих тишины (офис, транспорт, семья), либо звук им мешает фокусироваться.

Первое утверждение корректное, оно подтверждается данными. Далее — уже предположения, почему эти пользователи так себя ведут. Но эти предположения никак не проверены, в отчете нет ни результатов опросов, ни интервью, которые позволили бы делать такое утверждение.

Это, конечно, немного гротескный пример, хоть и реальный. Обычно подобные ошибки тоньше и незаметнее, правдоподобнее, и их иногда делают даже опытные аналитики.

Но самое плохое во всем этом то, что в какой-то момент предположение может начать восприниматься как реальность. Особенно этим грешат заинтересованные в успешном успехе фичеовнеры. Впрочем, про это стоит говорить отдельно уже.

После отпуска начал разбирать разные отчеты и исследования. Так, в конце марта NEWHR выпустили очередное исследование по рынку аналитиков в 2025 году.

Внутри много разного — где работают, сколько получают, какие задачи делают, кого читают. К слову, в списке экспертов было приятно видеть много знакомых фамилий. При этом пул авторов, по ощущениям, не сильно меняется от года к году.

Из того, что мне показалось интересным. Во-первых, конечно же, зарплатные вилки продуктовых аналитиков. Я был несколько озадачен — геймдев традиционно платит ниже рынка, но и по комментариям в некоторых чатах эти вилки весьма оптимистичные. “где деньги, Билли?”

Во-вторых, NEWHR фиксируют снижение запроса на начинающих аналитиков. Интересно, потому что некоторые знакомые хэды, кто ищет игровых аналитиков, говорят, что в последнее время чаще собесят сеньоров, чем миддлов. Хотя казалось бы, “сеньоров не сущствует”. А с развитием AI-аналитики вся грейдовая сетка скоро поплывет и трансформируется, видимо.

В-третьих, растущий консерватизм, неудивительный в смутные и не особо тучные времена. Перестает работать логика “хочешь больше денег — уходи в другую компанию”, рост зп через индексацию и повышение грейда, с трудом покрывающие инфляцию. И в целом традиционная лояльность профессии — подавляющее большинство собирается оставаться в аналитике. Хотя, опять-таки, я нередко слышу размышления в духе “как бы выйти из айти”, да и сам им подвержен, что скрывать.

В общем, читайте: https://newhr.org/data/research-analysts-2025
А на экспертов можно посмотреть и подписаться тут: https://newhr.org/data/experts-analytics-2025

Задачка из недавнего отчета.

У нас есть игра с очень большим нарративным пластом — тексты, истории, диалоги и все такое. Есть сторилайн — цепочка квестов основной истории. Есть сайд-квесты, которые открываются не сразу (где-то с 8-10 уровня). Это побочные истории, чтобы немного разнообразить жизнь пользователя.

У геймдиза появилась гипотеза, что когда мы на пользователя вываливаем кучу сайд-квестов, пользователи теряются и отваливаются. И, может быть, стоит упырить мел с сайд-квестами и больше вести пользователей по сторилайну

Аналитик разделил пользователей по доле сайд-квестов от общего числа сделанных квестов. И посмотрел их ретеншен (смотрите табличку на скриншоте).

Соответственно, два вопроса. Какую ошибку совершил аналитик и как бы вы проверяли эту гипотезу? (значения в табличке не очень настоящие, но в целом отражают особенности сегментов)

Свой ответ опубликую в понедельник вечером.

#exercises