Искусство точного выбора: Байесовский подход к решениям в условиях неопределённости

Желательно: добавить аналитику и несколько интеграций, если после теста останутся время и средства.

Сейчас недоступны: отдельные команды для мобильных приложений, аналитики и нескольких интеграций. (Ф)

Срок: принять решение о следующем этапе через шесть недель.

Нельзя считать условием успеха: выпуск всех задуманных функций.

Цель здесь не «сделать большой сервис». Цель — получить достаточно хорошее основание для следующего решения. Это важное различие: продуктовая команда не обязана заранее знать, что именно строить. Но она может решить, какие данные соберёт, к какому сроку и какой результат повлияет на её выбор.

После карты отдельно записывают неизвестное, которое нужно проверить:

• сколько студий сталкиваются с этой проблемой регулярно;

• готовы ли владельцы платить именно за предложенный набор функций;

• поможет ли простая версия сервиса решить задачу;

• можно ли провести пилот, не нарушая обязательных требований к работе с данными.

Неизвестное не становится фактом оттого, что его записали в таблицу. Но оно перестаёт прятаться внутри плана.

Байесовское обновление без мистики

Теорема Байеса — правило, которое связывает три вещи: исходную оценку, полученные данные и итоговую оценку после знакомства с этими данными.

P(H|E) = [P(E|H) · P(H)] / P(E)

Здесь:

• H — гипотеза, которую проверяем;

• E — наблюдаемое свидетельство;

• P(H) — исходная вероятность гипотезы, до получения этого свидетельства;

• P(E|H) — вероятность увидеть такое свидетельство, если гипотеза верна;

• P(H|E) — обновлённая вероятность гипотезы после появления свидетельства.

Можно сказать проще: насколько разумно было верить в гипотезу до проверки, насколько ожидаемы новые данные при разных сценариях и как сильно эти данные должны изменить нашу оценку.

Предположим, до теста команда оценивает вероятность достаточного спроса в 30%. Это не факт о рынке, а начальная оценка — её называют априорной. Она может быть основана на опыте, наблюдениях или пока не очень надёжном предположении. Важно не притворяться, будто число возникло из безупречного измерения.

Затем команда предлагает десяти владельцам подходящих студий внести оплату за участие в пилоте. Она заранее формулирует, что будет считать заметным сигналом: пять или более оплативших резервирование.

Допустим, команда оценивает вероятность такого результата следующим образом:

• если спрос действительно достаточен, вероятность получить пять или более оплативших — 60%;

• если спроса недостаточно, вероятность всё равно увидеть такой результат — 15%.

Второе число не равно нулю: выборка может оказаться удачной, клиенты могут принять пилот за выгодное предложение или тест может непреднамеренно привлечь особенно заинтересованных людей. Но при хорошем спросе такой результат ожидаем чаще.

После теста пять или более студий оплачивают резервирование. Байесовский расчёт выглядит так:

P(H|E) = (0,60 · 0,30) / ((0,60 · 0,30) + (0,15 · 0,70))

P(H|E) = 0,18 / 0,285 ≈ 0,63

Оценка выросла примерно с 30% до 63%. Данные не доказали, что большой бизнес непременно получится. Они сделали гипотезу о спросе заметно более правдоподобной, чем до теста.

Здесь важна не красота числа после запятой. Исходные 30%, а также оценки 60% и 15% — предположения команды о вероятностях, а не измеренные свойства вселенной. Если основания для них слабы, точный результат вычисления не сделает вывод точным. Полезность формулы в другом: она заставляет назвать исходную веру, указать, насколько свидетельство различается при верной и неверной гипотезах, а затем честно показать, как изменился вывод.

Спросите не только «что произошло», но и «насколько это различает версии»

Представьте, что вместо оплаченного резервирования владельцы студий сказали: «Интересно, расскажите подробнее». Это приятный ответ, но что он сообщает о готовности платить? Возможно, многие сказали бы так независимо от того, нужны им сервис и покупки или нет. Значит, вероятность такого ответа при сильном спросе может быть лишь немного выше, чем при слабом.

У хорошего свидетельства есть различающая сила. Оно существенно вероятнее при одном из конкурирующих объяснений, чем при другом. Оплата, повторное использование, готовность выделить время на внедрение часто информативнее общего одобрения. Не потому, что деньги всегда дают исчерпывающий ответ, а потому, что реальное действие обычно обходится человеку дороже, чем вежливая фраза.

Можно выразить эту разницу через отношение вероятностей свидетельства при двух вариантах:

Отношение правдоподобия = P(E|H) / P(E|не H)

В нашем примере это 0,60 / 0,15 = 4. Оплаченный сигнал в четыре раза вероятнее при достаточном спросе, чем при его недостатке. Это не означает, что спрос «доказан в четыре раза». Это означает, что наблюдение сдвигает оценку в пользу гипотезы.

И наоборот, если десять студий проявили интерес, но никто не оплатил пилот, оценка должна снизиться — особенно если команда заранее считала, что при настоящем спросе оплаты были бы частыми. Отсутствие ожидаемого свидетельства тоже может быть данными. Но лишь если мы действительно могли ожидать его увидеть. Не получить ответа на письмо, которое никто не прочёл, — не то же самое, что получить отказ после ясного предложения от подходящего клиента.

Не превращайте число в приказ

63% — не команда запускать полноценный продукт. Вероятность и решение связаны, но это не одно и то же. Решение зависит ещё и от последствий ошибки.

Если следующий шаг — недорогой пилот на две недели, риск может быть приемлемым. Если шаг — потратить год и вложить все средства команды, планка уверенности должна быть выше. И наоборот: при большой цене бездействия иногда разумно исследовать гипотезу даже при скромной уверенности.

Полезный вопрос звучит так: какое решение изменится, если мы получим эти данные? Если ответ «никакое», возможно, тест не стоит времени и денег. Или же нужно признать: сейчас мы собираем информацию из любопытства, а не для выбора.

Есть и другой важный вопрос: какой результат мы готовы считать достаточным для следующего шага? Команда может заранее установить правило: при пяти или более оплаченных резервированиях она разрабатывает простую версию; при меньшем результате уточняет предложение и проводит ещё один тест; если спроса не проявляется после качественно проведённой проверки, прекращает эту версию проекта. Такие границы не отменяют суждения, но помогают не передвигать финишную черту после каждого неудобного результата.