Data Science команда из Sequoia Capital опять разразилась циклом статей про метрики.
Оказывается, у них в портфеле находится App Annie и, видимо, они делятся с ними данными, т. к. в статьях идет речь об анализе огромного количества компаний из разных ниш и разного размера.
Вкратце про каждую статью.

Defining Product Success: Metrics and Goals
Обзорная статья для разминки. Напоминают, что топ-метрики надо выбирать не “как у ребят на районе”, а исходя из вижена продукта.
Конечно, есть “джентельменский набор” метрик: growth/engagement/monetization => number of users/time spent/revenue. Но они скорее всего не будут отражать суть продукта и при достижении определенной вехи развития их надо будет заменить (и это нормально).
Я, как и авторы статьи, придерживаюсь идеи выбора метрик исходя их “сути продукта”. В статье предлагают мысленно проделать упражнение: представьте свой продукт через 10 лет и численно охарактеризуйте его успех одним числом.

Selecting the Right User Metric
В этом посте делается упор на продуктах, которые ставят во главе угла количество активных юзеров. Sequoia Capital дают целый фреймворк по определению идеальной метрики. По нему надо определить:

• что мы хотим видеть в итоге (вижен)
• что у нас есть сейчас (текущие показатели)
• как дела у других (исследования рынка/конкурентов)

С виженом немного разобрались в предыдущем посте, поэтому учимся понимать имеющиеся ситуацию:

1. Посчитайте сколько у вас уникальных пользователей за час, день, неделю, месяц, квартал и год.
2. Теперь посчитайте HAU/DAU, DAU/WAU, WAU/MAU, MAU/QAU, QAU/YAU.
3. Найдите выражения с выдачей >60% и возьмите то, что ближе к левой части списка. Из этой метрики берем числитель. Допустим, это было WAU. Поздравляю, вы определили что у вашего продукта еженедельный паттерн использования.

В статье разобраны примеры на основе данных из App Annie с конкретными числами по сегментам, поэтому можно подметить бенчмарков для себя.

The laws of nature strongly influence product behavior
Завершает эту мини-серию статся с попыткой найти закономерности в метриках. Никаких особых кол-ту-экшенов тут нет. Просто факты:

1. Успешные продукты объединяются в кластеры по категориям, если смотреть в разрезе метрик активности.
2. Также топовые продукты на графике “выстроились в линейку”, что намекает на какую-то закономерность и принцип перехода из одной категории активности в другую.
3. Они пытались найти паттерны в “эволюции” продуктов, но не срослось. Слишком индивидуальные истории (или слишком мало наблюдений?)

Что это?

Конференция проводится организацией ACM (Association for Computing Machinery). Это огромнейшая ассоциация, которая курирует много движений в мире технологий. Существует с 1947 года.

В состав AMC входят поднаправления (SIG, Special Interest Groups). Одно из направлений это Human-Computer Interaction (HCI, иногда пишут CHI).

Я немного рассказывал про HCI в своем докладе на Киви Кухне (слайды). Вкратце, это направление науки изучает как люди выполняют задачи используя технологии.

В HCI изучают как люди выполняют задачи используя технологии.

Продемонстрирую разнообразие тем, поигравшись с кусками определения:

1. Люди: один/группа/социум, дети/взрослые/старики, азиаты/европейцы/марсиане, мужчины/женщины/покемоны.
2. Задачи: микро/макро, последовательные/параллельные, сложные/простые, синхронные/асинхронные, интересные/рутинные/стрессовые, игры/работа/общение.
3. Технологии: web/mobile/часы/протезы/VR/AI/«умная ткань» и так далее и тому подобное.

Дисциплина смешивает подходы из Computer Science, всех социальных наук и подмешивая иногда биологию с физикой. На конференцию приехало почти 4000 человек.

The ACM CHI Conference on Human Factors in Computing Systems is the premier international conference of Human-Computer Interaction. CHI  — pronounced ‘kai’ — is a place where researchers and practitioners gather from across the world to discuss the latest in interactive technology.

Что там показывают?

Полная программа включала в себя ~1200 уникальных активностей.

Презентация научных работ (~700 штук)
Выступление — 15 минут:

• Что за проблему хотим решить? Почему это важно?
• На какие вопросы нам нужно дать ответ? Какие гипотезы?
• Выбор и обоснование методологии
• Процесс сбора данных: как и с кого собирали
• Анализ данных и результаты
• Рекомендации по реализации и/или освещение новых вопросов
• Дают ссылку на подробную статью (10+ страниц), где описаны все нюансы, расчеты и релевантные работы.
• Пять минут на вопросы из аудитории.

Очень крутой формат, который позволяет ознакомится с работой, а затем чуть ли не воспроизвести ее самому.

Постерная сессия (~250 штук)

Постер — это зачастую красиво рассказанная история с картинками и тезисами на формат А1. По-сути, это инфографика по научной работе, которую автор также прилагает на конференцию.

В принципе, из постера можно было бы сделать и обычный доклад. Насколько я знаю, кто-то сам не хочет запариваться, а кого-то не допускает комиссия.

На специальной площадке расположены ~50 стоек, на которые в первой половине каждого дня авторы вешают свои работы. Пока они готовятся, можно присмотреть интересные для себя вещи. К началу второго перерыва между сессиями, они уже готовы и посетители конференции идут туда коротать время. Каждый постер презентуют 1-2 человека. Можно (и нужно) подходить к ним, узнавать что за ресерч и просто болтать за жизнь.

Я поговорил с коллегой из Atlassian, который разработал иерархию метрик для редизайна Jira. Еще скоротал время с корейскими студентами, которые применяли теорию графов кучи всего, в т.ч. для анализа активности фан-сообществ в социальных сетях. Ну и просто постоял около многих стендов и послушал авторов. У многих поистине горят глаза от того, чем они занимаются.

Курсы, воркшопы и мастер-классы (~30 штук)

CHI — это еще и место учебы. Преподаватели из топовых универов и компаний, дают интенсивны размером от 2 до 4 академических пар.

Я посетил курс от ребят, которые в свое время консультировали yahoo и bing по развитию поиска. Они учили подходу моделирования поведения пользователей, который используется в экономике — cost-benefit analysis. Из этих формул было четко понятно какие «выгоды» и «траты» несет юзер, что давало инсайты для последующего редизайна.

Составление такой модели требует поистине глубокого понимания задач пользователей и продвинутой математики. Тут я впервые увидел использование дифуров для продуктовой работы, а не в задачах ракетостроения.

Интерактивные стенды (много)

Множество научных лабораторий со всего мира: VR-шлемы, роботы, интерфейсы мозг-компьютер и много всякого…

https://www.instagram.com/p/BxTEdJ8DaH9/

Ярмарка вакансий

Топовые компании из США, Европы и Азии организовали свои площадки и пылесосили контакты всех, кто потенциально интересен. Интересно отличилась Apple. От них были две вакансии, где неприметно и мелким шрифтом написаны общие требования к кандидатам. А снизу была приклеена папка, куда надо кидать резюме. Папка была очень уродливая, словно мусорная урна…

Яркие спикеры

Вступительный и финальный доклады были на высоте. Первый доклад заряжал позитивом и вдохновлением. Последний рассказывал о глобальном видении и стратегии Google на рынке умных вещей. Такое стоит послушать (оцените спикера).

Из минусов

Конференция, прежде всего, ориентирована на академическое сообщество. Научный совет решает, что будет презентовано. Они смотрят на какие-то формальные вещи, ссылки на литературу и автора публикации. Как я понял из кулуарных бесед, практикам сюда пробиться крайне тяжело. У статьи должен быть хотя бы один автор с академическим опытом.

Предыдущее ограничение сильно отражается на докладах. Многие выступления сложно или невозможно применить на практике — авторы не сильно задумываются об этом. 80% выступлений заканчиваются фразой

Мы копнули этот вопрос глубже. Спустя 3 месяца исследований мы поняли, что он оказался сложнее чем мы предполагали. Наш вклад в HCI сообщество заключается в том, что мы нашли новые вопросы, на которые надо дать ответ. Надеюсь, это вдохновит исследователей заняться этим в будущем.

Получается ресерч ради ресерча. Явно не хватает какой-то практической нотки. Хорошо, чтобы есть остальные 20% докладов. В них презентуют либо сотрудники из ведущих IT-компаний, либо ученые из топовых универов, которые делают исследования по заказу индустрии. Нужно проделать большую подготовительную работу по составлению расписания, чтобы попадать только на интересные выступления.

“Конференция, прежде всего, ориентирована на академическое сообщество.”

Необычные вещи

Призывы и протесты и за равноправие/разнообразие

Я замечал намеки разного размера:

1. Разговоры людей.
2. Стикеры с призывами на специальной стене «вопросов и предложений». Мало черных/женщин/практиков/инвалидов спикеров.
3. Мини-протест в центре павильона... https://www.instagram.com/p/BxMy9AWF8_L/

Я, наверное, не понимаю всей внутренней кухни, но по мне это была самая «социально-благоприятная» конференция, на которой я был:

1. Спикеры и участники были всех возрастов, наций, полов и конфессий.
2. Были сурдопереводчики на некоторых докладах и ключевых кейноутах. Широкие проходы, специальные подъемники.
3. На конференции можно было покушать все виды еды: глютен-фри, веганская, кошерная и еще 50 видов.
4. Один из самых популярных тегов в научных работах этого года — Accessibility.
5. Во всех исследованиях всегда указывали, что у них 50-50 мужчин и женщин. В одном выступлении проскользнули числа 75-25, так спикер быстро перелистнул слайд, а из зала донесся небольшой смех.
6. Кругом информация об экологии и вторичном использовании материалов.

Ясно, что всегда можно сделать лучше/выше/сильнее. Непонятно, когда надо останавливаться.

Обнесли кабинет

В первый день обокрали кабинет, где проходил один из курсов. Слушатели вышли перекусить, а по возвращению остались ни с чем. Как так?))

Вкратце

Несмотря на академичность, сюда стоит ехать, чтобы реально узнать про новые подходы и словить инсайтов. Как я узнал в беседе с одним из Гуглеров, CHI одна их немногих конференций куда катаются синьоры, чтобы поучиться.

Кому стоит сюда приехать

Мастхэв для:

1. Исследователей — аналитики, ux-ресерчеры.
2. Изобретателей — ux/ui дизайнеры, проектировщики, разработчики софта/железа.
3. Под вопросом ценность для продуктовых менеджеров и стратегов:
   • Слишком сильно углубляются в детали, много воды.
   • За трендами/инсайтами можно следить более эффективно.
   • Нетворкинг с отдельными спикерами/участниками будет полезен, но можно найти другие способы познакомиться.
4. Совсем не нужно ехать, если вы работаете на уровне операционки/тактики.

Можно попробовать похайрить народ. Думаю, будка на выставке хорошо бы конвертировала в лидов на собеседования. Много умных людей-теоретиков. В комбинации с одним практиком может получится интересная связка.

Что касается меня, то я бы вернулся на CHI еще раз. Следующий забег на Гаваях.

Статья The Value Chain Constraint от Бена Томпсона рассказывает про ментальную модель “Цепочка ценности”.

Суть проста до безобразия:

1. Существуют поставщики ценности (supply) и ее потребители (demand)
2. Путь от Supply до Demand может пролегать разными путями.
3. Можно применить несколько бизнес-стратегий: стать каким-то узлом в цепи и постепенно захватывать соседние звенья или придумать более “читерскую» цепочку.

Примеры разных бизнесов:

Выхожу из отпуска / радиомолчания.
Как обещал ранее, расскажу про интересные мысли и концепции, которые подчерпнул из книги Mastering Engagement.

Немножко повторюсь, но “повторение — мать учения”.

Engagement Game

Основной механизм создания и захвата ценности

1. The Attention Game: пытаемся максимизировать время, которое человек проводит в продукте. Примеры: новости, игры и все, что показывает рекламу.
2. The Transaction Game: помогаем человек совершить сделку, а сами живем на марже/комиссии. Примеры: e-commerce.
3. The Productivity Game: повышаем эффективность пользователя в его личных и/или рабочих задачах. Примеры: многие b2b-продукты.

Хочется “прокачивать” все три составляющие, но нужно сфокусироваться на одном.

Engagement Ladder

Эта концепция говорит, что “aha moment” — это только первая “ступенька” на пути юзера в вашем продукте. Скорее всего, у вас есть много “ценностей”, которые можно донести пользователю.

Наша задача — помочь юзеру забраться как можно выше на эту лестницу. Тогда он больше вовлечется в продукт и ему тяжелее будет уйти.

Конечно, не у всех получится (и не все туда хотят).

Подробнее: Building your growth model and Ladder of Engagement

Engagement Loop

Фреймворк для работы с жизненным циклом юзера в продукте. Формализуем и оцифровываем этот цикл в своем продукте => начинаем измерять и управлять им.

1. Curiosity — человека что-то смотивировало придти в продукт.
2. Aha moment — знакомим его с основной ценностью.
3. Value exchange — мы дали человеку ценность, а он нам заплатил или кликнул на рекламку.
4. Trigger — внешний стимул, возвращающего пользователя в продукт.
5. Social proof — шер/лайк/репост/реферал.

Весь цикл на примере Dropbox.

Способ осмыслить, как можно создать конкурентные приемущества.

Стратегии оцениваются по двум основным измерениям:

1. Дифференциация поставщиков:
   • насколько поставщики отличаются друг от друга и имеют ли они влияние на компанию;
   • например, Facebook практически полностью обезличивает своих поставщиков контента, в то время как Apple и Microsoft зависят от дифференцированных поставщиков (разработчиков приложений и других участников экосистемы).
2. Эффект сети (network effect):
   • рассматривается, как дополнительные пользователи влияют на ценность продукта или услуги;
   • различают внутренние (internalized) и внешние (externalized) эффекты сети:
     • внутренние — когда эффект сети напрямую улучшает основной продукт компании (например, для Facebook важно, что ваши друзья и семья пользуются той же социальной сетью);
     • внешние — когда ценность продукта растёт за счёт внешних факторов, например, за счёт экосистемы вокруг платформы (как в случае с Microsoft и её экосистемой вокруг Windows).

Эти два измерения помогают построить «карту рвов» (Moat Map), которая иллюстрирует, как различные компании создают конкурентные преимущества (рвы) на основе взаимодействия дифференциации поставщиков и эффекта сети.

​​Я захотел понять как сделать идеальное продуктовое исследование. Все популярные книжечки и статьи прочитаны, а шишки набиты. Но чисто ремесленным методом развиваться долго.

Настало время воспользоваться методом “сломанной пирамиды” по Вастрику и копнуть теорию.

Один из способов становиться лучше как профессионал — это учиться на опыте других. Особенно интересны примеры из больших компаний с налаженными процессами и топовыми специалистами. Из разных источников я попытался восстановить процесс большого редизайна Jira. Ссылки вы найдете в конце.

Проблема на уровне бизнеса

В 2016 году исследователи компании проанализировали интервью и комментарии текущих и ушедших клиентов. Удобство пользования продуктом было камнем преткновения для пользователей Jira.

Продуктовый департамент транслировал эту проблему бизнесу. Повышение удобства использования стало одной из главных целей компании. Улучшения решили оценивать по NPS.

Спрашивать NPS внутри продукта — нормальная практика. А вот запросить доп.информацию о юзере и назначить интервью в том же окошке— это интересно :)

Метрики

NPS (индекс лояльности) — это главная метрика Atlassian. Важнее продаж, выручки, LTV и размера месячной аудитории. Но она не подходит для оценки релизов:

NPS — это интегральная метрика, на которую влияют многие аспекты бизнеса, а не только удобство продукта.

В зрелой компании сложно двигать верхнеуровневые метрики. Практически невозможно заметить улучшение после короткой итерации.

Продуктовым команда была нужна метрика, которая позволит напрямую оценить изменения на юзабилити. Индустриальным стандартом для этой цели является System Usability Scale (SUS).

Придуманный в 1986 году опросник оценки удобства пользования.

Главная проблема SUS при использовании в качестве in-product опроса— количество вопросов сильно прерывает работу пользователей, что снижает количество заполненных анкет.

Исследователи компании предложили использовать более компактные юзабилити-метрики: UMUX и UMUX-Lite. В них всего 4 и 2 вопроса соответственно, что позволяет разместить эти опрос внутри продукта и получать хорошую конверсию в ответ. Притом, ранние исследования доказали сильную корреляцию между этими метриками, SUS и NPS.

Вопросы из UMUX-Lite

Была проведена серия экспериментов, где последовательно спрашивали UMUX-Lite и NPS. Была найдена относительно сильная линейная зависимость между этими метриками (R² = 0.62), что позволило UMUX-Lite стать “мостиком” для NPS. Продуктовым командам выдали формулу “перегонки” из одного значения в другое: NPS = 3.18 ∗ (UMUX-Lite) − 200.6. Это позволило выставлять реалистичные цели на релизы.

NB! Не переиспользуйте эту формулу у себя. Установите свой процесс замера этих метрик и на своей аудитории найдите формулу зависимости.

Приоритизация инициатив

У членов команды было много предложений как сделать Jira удобнее. Нужно было выстроить систему приоритетов. Для этого снова обратились к комментариям из NPS. Вдохновившись классификацией требований к программным системам FURPS, фидбек разбили по следующим темам:

1. Reliability — требования к надежности.
2. Usability — требования к удобству использования.
3. Functionality — функциональные требования.

Каждая тема содержит иерархию из категорий и отдельных фичей.

Продуктовая команда Atlassian получает около 2000 комментариев в месяц. Для тэгирования (кодинга) такого объема информации ребята взяли к себе несколько стажеров. Разметка идет в общем Google Spreadsheet. Каждый комментарий может быть включен в 3 категории и обязательно назначается на ответственную команду.

Каждую потенциальную фичу / проблему они рассматривают в трех измерениях: размер аудитории, частота использования и доля негативного фидбека.

Feature 1 — хороший кандидат для исправления. Большое количество аудитории часто ей пользуется и доля негативных комментов (Pain Index) тоже высока.

Юзабилити-проблемы также разбивали на три популярных категории, которые встречались в комментариях. Это позволило прицельно решать проблемы.

Числа в ячейках — это количество детракторов, которые упомянули о проблеме

Инструмент мониторинга: UX ScoreCard

Для продукта составляют набор метрик за которыми хочется следить. В идеале, этот набор метрик постоянен на всех стадиях разработки продукта, но на практике это не так.

Например, NPS мы можем получить только после выпуска продукта. Или метрики в стиле “время на выполнения задачи” хорошо замеряются в юзабилити-тестах, но не всегда четко отслеживаются “в бою”, т. к. мы не знаем контекст пользователя. Исключением, конечно, являются страницы с четкими Call to Action.

Поэтому в Atlassian используют два дашборда:

1. Early Signal Testing Scorecard (ESTS) — для дизайн-команды выносят метрики, которые помогают принимать решения на этапе разработки. Для этого они создали собственный мини-фреймворк — Early Signal Testing (никаких откровений особо по ссылке нет, но можно пощелкать презентацию).
2. Instrumented Scorecard — для продуктовой команды, когда фича уже в проде. Сюда выносят метрики, которые составлены по Google HEART и UMUX-Lite (это, видимо, замеряет Happiness).

Early Signal Testing Scorecard отображает метрики по новым и текущим юзерам

Находим эффект от продуктовых изменений в UMUX-Lite

Продуктологам хочется понимать “стрельнул” ли апдейт. Для этого аналитик строит линейную модель, которая пытается предсказать значение UMUX-Lite.

Линейные модели — не самые точные ML-алгоритмы, зато очень легко интерпретируются, что и нужно в работе над продуктом. Можно посмотреть, дал ли апдейт ожидаемый вклад. Ну или можно воспользоваться A/B-тестами.

Вывод

Анализ комментариев из NPS позволил подсветить проблемные места продукта. Через процесс кодинга удалось “оцифровать” жалобы клиентов и использовать количество жалоб как один из факторов в расстановке приоритетов.

Проблема медленной реакции NPS на изменения была решена созданием отдельной метрики для продуктовых команд.

UMUX-Lite стал мостиком между дизайнерами, продуктологами и бизнесом, который позволил быстрее получать обратную связь на релизы и понимание вклада в цель компании.
Более подробнее про метрику и методологию можно прочитать здесь: Measuring Usability: From the SUS to the UMUX-Lite.

Источники

• The right metric for the right stakeholder
• From feedback to features — Building the new JIRA experience
• The journey to quantify design in Jira — Kai Forsyth
• Early Signal Testing: Designing Atlassian’s New Look
• How to prioritize features using NPS® | Atlassian
• Bridging the Gap Between Business, Design and Product Metrics

Продукт не может быть успешен, если не приносит пользы его потребителям. Поэтому бесполезные товары гниют на полках и складах, плохие услуги никто не заказывает, а интернет-сервисы теряют посетителей.

Но как понять, за что человек готов заплатить? Не важно, деньгами или своим временем. Где скрывается ценность?

Есть теоретическая модель, с который вы наверняка сталкивались — пирамида потребностей по Маслоу (Maslow’s hierarchy of needs). Консультанты из Bain & Company расшили теорию практической частью. Они выделили 30 фундаментальных ценностей в B2C и 40 в B2B.

Пирамида ценностей в B2C

Ценности в B2B. С пирамидой по Маслоу уже как-то сложнее сопоставить.

Исследователи проанализировали множество продуктов и брендов: как они развивались и чем выделяются.

Выводы:

1. Чем более высокоуровневую потребность закрывает продукт, тем он более ценный и полезный.
2. Чем больше потребностей из пирамиды закрыто, тем более высоко оцениваются продукты в глазах потребителя.
3. Даже гиганты индустрии не могут закрыть все потребности. Например, Apple закрыла только 11 из 30 в B2C сегменте.
4. Верхнеуровневые ценности можно использовать как дифференциаторы вашего бренда. Посмотрите на рынок и конкурентов. Попробуйте понять, какие ценности они закрывают. Затем выбор за вами: сделайте лучше их или работайте над другими ценностями.

Ссылки на лонгриды (~40 минут на каждый):

1. The 30 Elements of Consumer Value: A Hierarchy — HARVARD BUSINESS REVIEW, 2016
2. What B2B Buyers Really Care About — HARVARD BUSINESS REVIEW, 2018

P.S.
Пока читал статьи узнал пару фактов о теории Маслоу:

1. Он описал только принцип потребностей, но в пирамиду их сложили другие ученые.
2. Популярный миф: достичь высшей ступени в пирамиде (самоактуализация) нельзя без закрытия более низких уровней (физические потребности). Но в это утверждение не вписываются альпинисты. Они преодолевают тяжелые лишения в пути на вершину: устают и рискуют жизнью. Ими движет более высокая цель.