Предсказать всё. Как теорема Байеса объясняет наш мир

Стоит ли знать о такой вероятности? Наверное. Но нужно иметь в виду, что надо будет пройти дополнительные обследования, в том числе инвазивные, неприятные, иногда в чем-то рискованные. Плюс, конечно, NHS пришлось бы оплачивать десятки тысяч МРТ-сканирований и биопсий, а это миллионы фунтов. Такие деньги лучше было бы потратить на статины, пересадку почек или зарплату медсестер. Особенность рака предстательной железы заключается в том, что во многих случаях он растет настолько медленно, что мужчины даже не подозревают о том, что он у них может быть; очень часто рак простаты обнаруживают при вскрытии, когда мужчина умер от чего-то другого.

Так что возникает еще одна важная тема. Показатели «чувствительность 32 %, специфичность 85 %» вы получите, если примените отсечку в 3 нанограмма на миллилитр. Но можно увеличить этот показатель до 4 нанограмм. Что тогда?

Тогда показатель специфичности будет выше. Процент пациентов, которым правильно диагностировано отсутствие рака, увеличится с 85 до 91 %. Но тогда пострадает чувствительность. Доля мужчин, у которых есть рак, и при этом правильно диагностированный, снизится с 32 до 21 %. Если еще раз протестировать миллион мужчин, то теперь вы получите меньше ложноположительных результатов – 88 200, но меньше и истинно положительных: всего 4 200 из 20 тысяч. В такой ситуации, если вы получили положительный результат, вероятность, что у вас действительно рак, все равно составит всего лишь около 4,5 %.

Обойти это невозможно. Можно поднять порог, скажем, до 5 нанограмм на миллилитр, и уменьшить число ложноположительных результатов, но только за счет увеличения числа ложноотрицательных. Или можно снизить порог и уменьшить количество ложноотрицательных результатов, но только ценой увеличения количества ложноположительных. Это неизбежная дилемма, высеченная в камне. Единственный возможный обходной маневр здесь – пройти другое, более эффективное обследование. Ситуация аналогична проблеме «статистической значимости» в науке. Об этой проблеме мы еще поговорим.

При раке груди и толстой кишки скрининг довольно точен. Но даже в этом случае он сильно зависит от показателя заболеваемости в популяции. В одном крупном исследовании было показано, что 60 % женщин, которые в течение десяти лет ежегодно делают маммографию, хотя бы один раз получают ложноположительный результат. Их направляют на дополнительные исследования, например на биопсию. Всё это вызывает «тревогу, душевное смятение и беспокойство, связанные с раком молочной железы». Стоит ли оно того? Будет целиком зависеть от фонового уровня заболеваемости в популяции, то есть от априорной вероятности. Рак груди редко встречается у молодых женщин. Если протестировать женщин моложе сорока, то даже довольно чувствительные и специфические тесты дадут очень много ложноположительных результатов. Среди женщин старшего возраста этот метод ценят больше, и в NICE утверждают, что он экономически эффективен, если его делать у женщин старше пятидесяти. Но вы не можете принимать решения, не прибегнув к помощи Байеса.

Будущим родителям тоже не помешает почитать о Байесе. Существует вид дородового скрининга, известный как «неинвазивное пренатальное тестирование» (NIPT), при котором у беременной женщины берут на анализ кровь, которую проверяют на наличие различных хромосомных заболеваний у плода. В Великобритании NHS предлагает его пройти женщинам из категорий высокого риска. Еще его делают в частных клиниках, примерно за 500 фунтов. Продают тест, рекламируя его 99-процентную точность. Но, опять же, точность теста сама по себе ничего вам не скажет о том, насколько вероятна правильность вашего результата. Заболевания, ради выявления которых его проходят, редки; это синдром Дауна, синдром Патау и синдром Эдвардса. Но они при этом крайне серьезны. Ребенок с синдромом Дауна может прожить долгую и счастливую жизнь, но ему скорее всего будет необходим пожизненный уход, в то время как дети с синдромами Патау и Эдвардса обычно умирают в первые месяцы или годы жизни. Очевидно, что для родителей очень важно, точны результаты тестов или нет.

Анализ данных показал, что НИПТ-тестирование населения в целом, а не только беременных из группы высокого риска, часто дает ложноположительные результаты. «Прогностическая ценность положительного результата» (positive predictive value), то есть процентная вероятность того, что данный положительный результат окажется истинно положительным, для синдрома Дауна составила 82 %, для синдрома Патау – 49 %, для синдрома Эдвардса – всего 37 %.

Если ограничиться только группами высокого риска, то эти показатели значительно возрастают: для синдрома Эдвардса прогностическая ценность положительного результата теста достигает 84 %. Иными словами, если проводить тест на будущих матерях методом случайной выборки, то почти два из трех полученных положительных результатов будут ложными. Но если ограничиться только группами повышенного риска, то ложным окажется менее чем один результат из шести.

Это «чистый Байес». Новые данные сами по себе не могут описать всю картину. Нужно знать априорную вероятность. Это не гипотетическая и не научная задача. Если вы ждете ребенка, делаете один из таких тестов и получаете положительный результат, теорема Байеса станет центральным фактором в принятии решения о том, что делать дальше. И, как мы увидим ниже, нельзя рассчитывать, что врачи вам помогут. Они, как и все мы, склонны считать, что тест, точность которого составляет 99 %, верен в 99 % случаев.

Все это касается не только медицины. В юридической сфере есть понятие «заблуждение прокурора», которое буквально означает, что человек в своем мышлении просто не следует заветам Байеса. Представьте, что вы делаете экспертизу ДНК на месте преступления. Вы находите образец на рукоятке орудия убийства, который совпадает с ДНК человека из вашей базы данных. Совпадение ДНК довольно точное: такая точность встречается примерно один раз на три миллиона.

Значит ли это, что вероятность того, что ваш подозреваемый невиновен, составляет всего один на три миллиона? Надеюсь, сейчас вы уже понимаете, что это не так.

Вам нужно знать априорную вероятность. Есть ли какие-то особые причины считать, что этот человек – именно тот, кто вам нужен, или ваша база данных представляет собой просто случайную выборку жителей Великобритании? Если это так, то априорная вероятность того, что подозреваемый вами человек – преступник, равна одному к 65 миллионам: есть 65 миллионов британцев и только один человек, совершивший это конкретное преступление. Если бы вы сделали анализ ДНК каждого британца, то по чистой случайности получили бы около двадцати совпадений ДНК, плюс преступник. Таким образом, вероятность того, что вы вышли на правильного подозреваемого, составляет плюс-минус 5 %.

Но если бы вы заранее сузили круг подозреваемых до десяти человек – скажем, вы Эркюль Пуаро и знаете, что это один из десяти человек, запертых в загородном особняке снежной бурей, – то это было бы совсем другое дело. Ваша априорная вероятность в таком случае – 10 %. Если ДНК одного из этих десяти человек совпадет с найденным образцом, то вероятность ложноположи-тельного результата составит примерно один к 300 000[5].

И, опять же, это не какое-то крючкотворство и не копание в малозначимых мелочах. На этих цифрах строятся реальные судебные дела. В 1990 году суд признал некоего Эндрю Дина виновным в изнасиловании – частично на основании данных ДНК. Свидетель-эксперт заявил суду, что вероятность того, что ДНК принадлежит кому-то другому, составляет один к трем миллионам. Однако приговор Дину отменили (хотя на повторном процессе он был все равно признан виновным), потому что, как объяснил один статистик, два вопроса – «Насколько вероятно совпадение ДНК человека с [найденным] образцом ДНК, если он невиновен?» и «Насколько вероятно, что человек невиновен, если его ДНК совпадает с образцом?» – не одно и то же, так же как вопрос «Насколько вероятно, что некий человек является Папой Римским?» не то же самое, что и вопрос «Насколько вероятно, что Папа Римский – человек?».

Иногда ошибки возникают и в обратную сторону. На суде по делу бывшей звезды американского футбола О. Дж. Симпсона, обвиненного в убийстве своей жены Николь Браун Симпсон, обвинение утверждало, что Симпсон был склонен к физическому насилию. Защита возражала, что за условный год «бесконечно малый процент мужчин, которые бьют своих жен», потом их убивают.

Но это была ошибка, противоположная заблуждению прокурора. Годовая вероятность того, что мужчина, избивающий свою жену, убьет ее, может составлять «всего» один к 2500. Но мы спрашиваем не об этом. Мы спрашиваем, если мужчина избивает жену, и, учитывая, что жена была убита, какова вероятность, что убил ее муж?

Немецкий психолог и исследователь риска Герд Гигеренцер указал на то, что если цифра один к 2500 верна, то на каждые сто тысяч женщин, страдающих от домашнего насилия, приходится около сорока убитых. Базовый показатель убийств среди американских женщин составляет примерно пять на 100 000.

То есть априорная вероятность того, что американка, ставшая жертвой домашнего насилия, будет убита своим мужем, составляет примерно один к 2500 в год. Но нам нужно рассмотреть эту вероятность с учетом новой информации: теперь мы знаем, что именно эта женщина была убита.

Именно здесь вступает в дело байесовская математика. Если мы возьмем сто тысяч жертв домашнего насилия, то можем предположить, что за условный год 99 955 женщин убиты не будут. Но из оставшихся сорока пяти сорок убьют их мужья. Защита совершила ошибку, обратную заблуждению прокурора: она привела только априорную вероятность и проигнорировала уже имеющуюся новую информацию.

Теорема Байеса, хотя и помогает нам понять эти ошибки в рассуждениях, может рассказать и о более глубоких вещах. Слово «обратная» в предыдущем абзаце – ключевое. Часто статистика и теория вероятности говорят, насколько вероятно, что вы получите какой-то результат случайно. Если мои игральные кости – геометрически правильные по форме, три шестерки одновременно мне выпадут один раз из 216. Если меня не было на месте преступления, моя ДНК должна совпасть с найденным образцом с вероятностью один на 3 миллиона.

Зачастую, впрочем, это не то, что мы хотим знать. Если мы опасаемся, что человек, с которым мы играем в кости, – шулер, мы, наверное, захотим узнать, «если ему выпадет три шестерки, какова вероятность того, что его кубики правильные по форме?» Если чья-то ДНК совпадает с образцом, найденным на месте преступления, мы, наверное, захотим узнать, какова вероятность того, что это случайность. А это ровно противоположный вопрос.

Долгое время история вероятности сводилась к постановке первого вопроса. Но после того как в XVIII веке преподобный Томас Байес, о котором мы расскажем чуть позже, начал задавать второй вопрос, его стали называть обратной вероятностью. В этой книге вы увидите, что теорема Байеса на удивление спорна. У нее есть сторонники и враги, причем и тех, и тех гораздо больше, чем у любого сопоставимого однострочного уравнения. Вы не встретите людей, которые бы ругались в интернете из-за выражения для вычисления площади поверхности сферы или из-за формулы Эйлера.

Причина, по-моему, кроется в том, что теорема Байеса влияет на всё. Насколько вероятно, что та или иная научная гипотеза верна с учетом результатов того или иного исследования? Я могу сказать, какова вероятность, что вы увидите результаты, которые увидели бы, если бы она не была верна, но это не одно и то же. Чтобы оценить, насколько это вероятно, – а все больше ученых утверждают, что именно этим и должна заниматься статистика, – нам нужна теорема Байеса и априорные вероятности.

Более того, все решения, принимаемые в условиях неопределенности, являются байесовскими; или вернее так: теорема Байеса обеспечивает принятие идеальных решений, и степень, в которой агент подчиняется Байесу, есть мера правильности его решений. Сама логика – «Все люди смертны, Сократ – человек, следовательно, Сократ смертен», помните, наверное? – это лишь частный случай байесовских рассуждений, в которых можно использовать только вероятности, равные единице и нулю.

Похоже, мы, люди, – байесовские машины. Это верно на довольно высоком уровне: формально людям сложно разобраться в теореме Байеса, но решения, которые мы принимаем в повседневной жизни, вполне сопоставимы с теми, которые принимал бы идеальный сторонник байесовского подхода. К сожалению, это не значит, что мы в итоге во всем согласимся друг с другом: если мои представления сильно отличаются от ваших, то одни и те же данные или доказательства могут привести нас к совершенно разным выводам. Именно так мы можем прийти к глубоким, но искренним разногласиям по вопросам о климате, прививках или по любым другим вопросам, которые, казалось бы, снабжены убедительными доказательствами или данными.

На более глубоком уровне мы тоже байесианцы. Наш мозг, наше восприятие, похоже, работают, давая предсказания о поведении мира – априорные вероятности – и исправляя эти предсказания информацией от наших органов чувств: новыми данными.

Наше осознанное восприятие мира – вот наша априорная информация. Я предсказываю, следовательно, существую.

Глава первая

От «Книги общих молитв» до Full Monty Carlo

Байес-человек

Недалеко от станции метро «Олд Стрит» в районе Шордич в восточной части Лондона есть кладбище Банхилл-Филдс.

Здесь похоронено довольно много известных людей. Самый, пожалуй, знаменитый из них – Уильям Блейк. Здесь также лежит автор «Робинзона Крузо» и «Дневника чумного года» Даниэль Дефо и Джон Беньян, написавший «Путешествия Пилигрима».

Но тем, кто, как я, много раз ходил от метро до расположенного неподалеку Королевского статистического общества, кладбище Банхилл-Филдс известно как последнее пристанище преподобного Томаса Байеса.

Байес жил в XVIII веке, служил пресвитерианским священником и был математиком-любителем. При жизни он опубликовал один богословский труд и один текст о ньютоновском исчислении. Но больше всего его помнят по короткой работе «Очерк к решению проблемы доктрины шансов». Она была опубликована после его смерти в журнале Philosophical Transactions: несколько незаконченных заметок, оставленных Байесом, нашел и отредактировал его друг Ричард Прайс.

Книга, которую вы держите в руках, посвящена обманчиво простой идее, которую разработал Байес, – его теореме. Она, без преувеличения, является, возможно, самым важным уравнением в истории. Однако о ее авторе как человеке известно очень мало. Тот факт, что мы можем сказать лишь то, что он вероятно родился в 1701 году, дает представление о том, насколько скудны сведения о нем.

В 2004 году почетный профессор статистики в канадском Университете Уотерлу Дэвид Беллхаус написал биографию Байеса для журнала Statistical Science. Проблема, по его словам, заключалась в том, что Байес был нонконформистом – членом общины, отколовшейся от Церкви Англии из-за определенных разногласий с ней.

Чтобы понять, в чем здесь загвоздка, придется вернуться на пару столетий назад. Поклонники сериала «Волчий зал» помнят, что Генрих VIII отделил Англию от Католической церкви в 1533 году, чтобы жениться на Анне Болейн. Он был несколько раз женат и умер в 1547 году. После его смерти архиепископ Кранмер двумя годами позже ввел в обиход «Книгу общих молитв», сделав ее обязательной для богослужений во всех церквях Англии.

В 1553‐м дочь Генриха Мария отменила его решение, а самого Кранмера велела сжечь на костре как еретика, чтобы максимально доходчиво довести свою точку зрения до всех. Елизавета I через несколько лет снова ввела в обращение «Книгу», и все продолжали пользоваться ею еще почти столетие, вплоть до Гражданской войны в Англии.

В период Английской республики, то есть с момента казни Карла I в 1649 году до восстановления монархии в 1660‐м, религиозные ограничения были ослаблены, но в 1662 году парламент принял Закон о единоверии, по которому «Книгу» снова нужно было использовать во всех церквях Англии.

К тому времени некоторые священники уже привыкли к свободе, которой пользовались во времена республики Оливера Кромвеля. Примерно две тысячи из них – в основном сторонники пуританской традиции – отказались пользоваться «Книгой», были извергнуты из сана и лишились своих должностей в Англиканской церкви. Тем не менее многие из них продолжали проповедовать, часто пользуясь защитой мелкопоместного дворянства. Этих священников стали называть «несогласными» или «нонконформистами».

Принятый в 1688 году Акт о веротерпимости гарантировал нонконформистам, пресвитерианам и квакерам свободу вероисповедания, и им – в отличие от католиков того времени, – больше не нужно было совершать богослужения в тайне. При этом они должны были получать лицензии на свои храмы, им запрещалось занимать государственные должности и – что важно для нашей истории – учиться в английских университетах. Вместо них ученые из числа нонконформистов и будущие священники поступали в шотландские университеты, в частности в Эдинбургский, или в голландские, в том числе в Лейденский.

Члены семьи Байесов были нонконформистами. При этом они были состоятельными людьми: прадед Томаса Ричард Байес разбогател на металлургии в Шеффилде: он выпускал столовые приборы. У Ричарда и его жены Элис, урожденной Чапман, было двое сыновей. Один из них – Сэмюэл – стал священником: таким путем шли многие отпрыски богатых семей из числа как нонконформистов, так и англикан. Сэмюэлу повезло: возраста, когда нужно было поступать в университет, он достиг во времена Английской республики, поэтому ему разрешили учиться в кембриджском Тринити-колледже, который он окончил в 1656‐м. Несмотря на свои нонконформистские убеждения, Сэмюэл стал викарием в Нортхэмптоншире, хотя оказался среди тех двух тысяч священников, отказавшихся в 1662 году подчиняться Акту о единоверии. Поэтому и прихода своего он лишился. Другой сын Ричарда и Элис Байесов – Джошуа – дед Томаса, пошел по стопам отца и занимался семейным делом.

На тот момент Байесы вполне серьезно относились к нонконформистской миссии. Джошуа дал деньги на строительство часовни в Шеффилде. У него было четверо дочерей и три сына, но две дочери и один сын умерли в младенчестве. Один из его зятьев основал еще один нонконформистский приход, второй зять служил священником в другом. Второй сын Джошуа, тоже Джошуа, родился в 1671 году. Он изучал философию и богословие в одной из Школ для несогласных[6] на севере Англии, которая вынуждена была несколько раз переезжать с места на место из-за притеснений со стороны государства и преследования ученых-нонконформистов. Затем он стал священником и служил в нескольких лондонских церквях, сначала в районе Саутуарк, потом – недалеко от Фаррингдона. Если верить Беллхаусу, паства его уважала «и как проповедника, и как человека ученого».

Он также был классическим пуританином-семьянином с целым выводком детей. Джошуа вступил в брак с Анной Карпентер в октябре 1700 года, хотя точная дата свадьбы неизвестна, вероятно из-за того, что церемония прошла в нонконформистской церкви. Реестры рождений, смертей и браков вела Церковь Англии. Нонконформистские общины часто хранили свои записи в тайне или не вели их вовсе, опасаясь дискриминации.

По той же причине даты рождения семерых детей Джошуа и Анны неизвестны. Все семеро дожили до совершеннолетия, что было довольно необычно для того времени – около трети английских детей, рождавшихся в начале XVIII века, умирали, не дожив до пяти лет. Мы знаем, что Томас – старший из детей – умер в апреле 1761 года в возрасте пятидесяти девяти лет, поэтому он «с вероятностью 0,8» родился в 1701 году (или в самом начале 1702 года). Его братьями и сестрами были, в порядке рождения, Мэри, Джон, Анна, Сэмюэл, Ребекка и Натаниэль; нам известны годы их смерти и возраст (Джон умер самым молодым, в возрасте тридцати восьми лет в 1743 году, а Ребекка дожила до восьмидесяти двух), но не точные даты их рождения.

Семья жила в полном соответствии с нашими представлениями о жизни богатых образованных семейств того времени. Один из сыновей – Джон – поступил в училище правоведения «Линкольнс-Инн», в 1739‐м стал адвокатом. Сэмюэл и Натаниэль занимались торговлей, как их дед и прадед: Сэмюэл продавал белье, Натаниэль был бакалейщиком. Анна и Ребекка вышли замуж за обеспеченных людей своего круга – торговца текстилем и адвоката соответственно. А Томас, конечно же, пошел по стопам отца и стал нонконформистским священником.

Обучением мальчика занимался, вероятно, друг семьи Джон Уорд, который позднее стал профессором риторики в кембриджском Грешем-колледже и членом Королевского общества[7]. Отец Томаса оплатил тираж безусловно увлекательной книги Уорда «Жизнь профессоров Грешем-колледжа», и биограф Уорда говорит, что последнего «побудили взять на себя обучение нескольких детей его друзей». В итоге он открыл школу в Мурфилдсе. Существует также предположение, что Томаса обучал Абрахам де Муавр – один из великих первопроходцев теории вероятностей, вынужденный бежать из Франции в Лондон и зарабатывать там на жизнь репетиторством; впрочем, кажется, что это всего лишь предположение.

Томас вырос умным молодым человеком: из письма ему от Уорда, написанного в 1720 году, когда Томасу было восемнадцать или девятнадцать лет, ясно следует, что Байес свободно читал по-гречески и по-латыни, – само письмо, кстати, было написано на латыни. В письме Уорд дает Томасу советы, как лучше составлять тексты на латыни.

Несмотря на богатство и связи семьи, а также собственные умственные способности, выходцу из среды нонконформистов Томасу Байесу путь в английские университеты был закрыт. В 1719 году он отправился в Эдинбург, где, судя по всему, начал учиться у Колина Драммонда – профессора логики и метафизики. Письмо Уорда от 1720 года также сообщает нам, что Байес изучал математику, к удовлетворению Уорда: «Порядок, которого вы придерживаетесь в остальных ваших занятиях, я не могу не одобрить. Занимаясь одновременно и математикой, и логикой, вы будете яснее и четче замечать, какой вклад вносит каждый из этих прекрасных инструментов в управление мыслью и чувством».

Однако в Эдинбург Байеса поехал все же не за этим, а чтобы изучать богословие и готовиться к жизни священника. В 1720‐м он поступил на богословский факультет (Divinity Hall), документы которого свидетельствуют о том, что он занимался там, в частности, анализом стихов Евангелия от Матфея. Последний документ датируется январем 1722 года, то есть в Эдинбурге он прожил как минимум до этого момента.

Еще один факт, известный о жизни Байеса – он приехал в Лондон примерно в 1728 году; именно тогда его имя появилось в списке священнослужителей, представленном комитету пресвитериан, индепендентов и баптистов, в котором Джошуа – отец Томаса – часто заседал и иногда председательствовал. На тот момент Томас уже официально считался священником – сдал все необходимые экзамены – но прихода своего еще не имел. К 1732 году, согласно тому же списку за этот год, он уже служил вместе с отцом в церкви на Лезер-Лейн недалеко от Фаррингдона. К началу 1734‐го он переехал в городок Танбридж-Уэллс в графстве Кент, где возглавил приход уже сам.

О сути убеждений Байеса нам точно неизвестно. Мы знаем, что он был нонконформистом, но и только. Тем не менее и этого достаточно, чтобы понять, что у него были довольно необычные, даже откровенно еретические для своего времени взгляды.

Он не был ни англиканином, ни католиком. Между этими учениями есть разница, но она не столь велика. Для постороннего они расходятся по весьма малозначимым вопросам. Католики верят, что спасение возможно только в рамках Церкви, тогда как англикане убеждены, что если верить в Иисуса Христа и следовать Его заветам, то попадешь в рай, даже если ни разу в жизни не видел священника. Католики верят, что облатка и вино буквально пресуществляются в Тело и Кровь Христовы во время таинства Евхаристии, в то время как большинство англикан считает, что они просто пропитаны Его Духом. При этом и те, и другие верят в Святую Троицу – Бога Отца, Бога Сына и Бога Духа Святого, – и что Бог одновременно единосущен и триипостасен. Некоторые нонконформисты имели совершенно другие взгляды. В частности, ариане и социниане отрицали догмат о Троице (и, как следствие, «мейнстримные» христиане считали их еретиками). Ариане считали, что Бог Отец есть верховный Бог, а Иисус, его сын – Бог малый, существовавший всегда, даже до того, как физически появился на Земле. Социниане же соглашались с тем, что Иисус – малый Бог, но считали, что он появился на свет только в момент собственно Рождества Христова. Позднее из двух этих ересей выросло унитарианство. Его сторонники так же отрицали догмат о Троице, но пошли в этом отрицании еще дальше: они утверждают, что Бог один и что Иисус – человек.

Эти убеждения получили довольно широкое распространение среди пресвитерианских общин в XVIII веке. «Пресвитериане были действительно свободными мыслителями», – пишет Беллхаус, хотя и не настолько свободными, чтобы эти еретические убеждения не приводили к конфликтам: в 1719 году проповедники Джеймс Пирс и Джозеф Халлетт были изгнаны из пресвитерианских церквей в Эксетере из-за обвинений в ереси арианства.