ТОП-10 ошибок в A/B-тестах, которые новички совершают с завидной регулярностью

В рамках проекта Learnings в этот четверг в 17:00 разберем:

❌ SRM – незапланированное деление трафика (это не безобидно, это приговор тесту)
❌ Путаем статистическую и практическую значимость – результат есть, а пользы ноль
❌ Не сочетаем метрики со стат. критериями – получаем мусор на выходе
❌ Думаем: «p > 0.05 = нет разницы» – фатальное заблуждение
❌ Подглядываем за тестом каждый час – будем часто обманывать сами себя

И еще 5 критических ошибок, которые превращают A/B-тест в лотерею.

Приходите, научимся тестировать правильно 😈

Добавляем ссылку в календари и ставим напоминание на 28.05.2026 в 17:00 ⏰

CRO & Personalization 🤩
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym

🦾 Как тимлиду улучшать процессы за пределами своей команды?

Мы живём в сложном мире бигтеха, и на наши команды влияет множество факторов, которые находятся вне зоны нашего влияния. Ресурсы, процессы, приоритеты, влетающие проекты, исторические серые зоны ответственности — всё это чаще всего неподвластно нам напрямую, но мы сталкиваемся с этим каждый день.

👨‍💻 Привет, меня зовут Денис Титов, я занимаюсь разработкой платформы подписки Яндекс Плюс. Я считаю, что всё вышеперечисленное не повод опускать руки. Напротив, это хорошая причина потренировать себя в качестве эксперта, который может решать даже такие проблемы.

Какими могут быть типичные неудобства для команды?

🔴 Процесс так исторически сложился, по-другому у нас не работает

🔴 Нам важно быть гибкими, поэтому приоритеты меняются каждые две недели

🔴 У нас сырые требования, потому что мы не можем тратить недели на ТЗ, рынок меняется слишком быстро

🔴 У нас крупная служба, поэтому нужно 10 согласующих на задачу

Что можно сделать, чтобы изменить ситуацию? Есть понятный и проверенный список шагов:

1️⃣ Составьте конкретный список проблем, которые влияют на вашу команду, но находятся вне вашей ответственности (по крайней мере, на первый взгляд)

2️⃣ Соберите ближайших смежников (в рамках текущей регулярки или отдельного синка), чтобы понять, уникальны ли ваши проблемы, или они воспроизводятся и в соседних командах

3️⃣ Приоритизируйте список проблем. Сосредоточьтесь на тех, которые можно решить в адекватные сроки

4️⃣ Соберите список гипотез по решению тех или иных проблем

5️⃣ Организуйте V-Team из желающих менять окружающий мир. Сделайте конкретных людей ответственными за решение каждой из проблем

6️⃣ Установите milestones, в рамках которых вы ожидаете первые результаты

7️⃣ Согласуйте план с руководителями, чтобы сделать вашу деятельность прозрачной и иметь возможность увидеть картину чуть шире

8️⃣ Раскатывайте пилот постепенно. Можно начать со своей команды, чтобы получить подтверждения пользы в цифрах, а уже дальше раскатывать на всех — это поможет эффективнее продать решение смежникам

При этом всегда нужно оставаться осторожными:

1️⃣ Не потеряйтесь в процессе бесконечных улучшений. Помните пропорцию: 20% ваших усилий, скорее всего, закроют 80% проблемы

2️⃣ Заранее придумайте, как поддерживать процесс изменений. Нет ничего больнее, чем видеть, как ваше улучшение откатывается, как только вы переключаете внимание на что-то ещё

3️⃣ Не забывайте подключать дополнительную помощь, когда ваши первые победы вдохновят людей!

4️⃣ Не бойтесь лидировать стрим по улучшениям или даже выступать главным исполнителем: договаривайтесь со смежниками, находите общие точки интереса

💫 Тимлид может эффективно влиять на внешние ограничения за счёт сильных горизонтальных связей — если подходит к этому системно. Для этого важно не только знать о проблемах, но и объединяться со смежными командами и другими лидами: выделять приоритетные направления, смело их лидировать и отвечать за результат.

💓 Не бойтесь влезать в сложные, но важные авантюры — это даст свои плоды!

Подписывайтесь:
💬 @Yandex4Teamleads
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym

Стартап VS бигтех

Недавно в беседе с одним замечательным человеком мы обсуждали разницу между бигтехом и стартапами, а так же рисками при переходе из одного типа компании в другой в связи с установившемся майндсетом.

Я считаю, твой багаж опыта может пригодиться при любом переходе. Вопрос лишь в том, как ты воспользуешься инструментами, которые хранишь в этом багаже. Ну и много зависит от твоей гибкости и способности адаптироваться.


На самом деле отличий между ними масса, но если сильно утрировать, то стартап – это лихорадка, а бигтех – паралич.

➖В стартапе ты чаще меняешь направление, чаще релизишь что-то, в то время как в бигтехе у тебя больше статзначимых данных и времени подумать.

➖С одной стороны стартапы живут по принципу «упал - вставай, встал - упал», в то время как в бигтехе цена ошибки дороже. Буквально. Поэтому и решения проходят больше тестов и контрольных точек перед релизами.

➖В стартапе ты ограничен в ресурсах и часто один человек выполняет несколько ролей, в то время как в бигтехе у каждого своя четкая роль. Давай без деталей про матричную систему и горизонтальный рост, мы тут утрируем как никак. Но один моббин на четверых это не утрирование...


➖В стартапе больше хаоса, ибо процессов или еще нет, или они гибкие всратые, ну а в бигтехе почти все покрыто навигацией и инструкциями.


Тут можно еще долго продолжать расписывать разницу, но, главное, ты должен понять, что тебе подходит и уметь признавать это.

Ну и на личном опыте говорю: когда есть опыт работы и там, и там, – делать вывод о том, что ближе становится намного проще. А то принято считать только, что стартапы это несерьезная хуйня, а бигтех – зло во плоти. Что в корне не верно, разумеется.
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym

Где больше всего навредил ИИ

Информационные технологии, коммуникационные сервисы и цифровые платформы оказались главной сферой, где фиксируются вредоносные инциденты с использованием ИИ. На нее приходится 25% всех случаев, зарегистрированных в AI Incident Database.

Речь идет о самых разных проблемах — от ошибок поисковых систем и рекомендательных алгоритмов до публикации недостоверной информации. Как пример — функция «В этот день» Facebook*, которая показывала пользователям болезненные воспоминания о смертях родственников или расставаниях, а также алгоритмы рекомендаций Amazon, продвигавшие собственные товары компании выше более релевантных предложений.

После IT наиболее проблемными секторами стали транспорт и логистика — на них приходится 13% зарегистрированных инцидентов. Еще по 11% случаев связаны с индустрией развлечений и государственным управлением.

Среди компаний, чьи ИИ-системы чаще всего фигурируют в инцидентах, исследователи выделяют OpenAI — в 5% случаев, Google и Facebook — по 4%, Tesla с 3%.

Почти половина всех вредоносных инцидентов — 49% — относится к ИИ-сервисам, работающим исключительно в цифровой среде, без физического оборудования. Как пример — подготовленный для правительства Австралии отчет Deloitte стоимостью $439 тыс., в котором обнаружили вымышленные научные ссылки, предположительно созданные ИИ.

Еще 15% инцидентов связаны уже с физическими системами — автомобилями и мобильными роботами, включая аварии с автопилотами Tesla и столкновения беспилотников Waymo. На потребительские устройства приходится 9% случаев. Среди них — история с голосовым помощником Alexa от Amazon, который предложил ребенку опасный эксперимент с электричеством, и сбои Face ID от Apple, не различавшего близнецов.

* продукт Meta (признана экстремистской и запрещена в РФ)

🟦 Подписаться / Мы в MAX
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym

Скилл: iGotFired 🙂

@ppprompt
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym