Прикольная статистика

Теперь проверим, насколько надёжно наша интуиция про вероятности. На свадьбе двое гостей выясняют, что у них один день рождения, и пьют за перст судьбы. Сколько гостей нужно, чтобы такое встречалось хотя бы в половине свадеб? Здравый смысл называет обычно несколько сотен, потому что дней в году 365. Правильный ответ: 23.

Считать проще наоборот, вероятность того, что у всех дни рождения разные. Второму гостю доступно 364 дня из 365, третьему 363, и так далее. Перемножаем и вычитаем из единицы. Для 23 человек получаем 50,7%, для 41 уже 90%, для 70 совпадение почти обязательно.

Отчего так быстро? Наша голова ставит вопрос не так. Она спрашивает: кто-то родился в мой день? Для этого и вправду нужно около 253 человек. Но у нас не один участник с одним днём, а любая пара. Пар из 23 человек можно собрать 253, потому что 23 · 22 : 2 = 253. Число возможных совпадений растёт как квадрат числа людей, и этот смысл стоит запомнить надолго. Тот, кто удивляется совпадению, обычно считает один шанс. Тот, кто не удивляется, считает все пары.

Три любимых заблуждения

Динозавр пополам. Старый анекдот: какова вероятность встретить на улице динозавра? Пятьдесят на пятьдесят: либо встретишь, либо нет. Наша дробь работает только тогда, когда все случаи равноправны. Грани кубика равноправны, динозавр и его отсутствие нет. Смеётесь? А потом тот же человек говорит про операцию, выборы или бизнес: ну там фифти-фифти, или получится, или нет. Тот же динозавр, только уже в галстуке.

Снаряд дважды в одну воронку не падает. В 1913 году в Монте-Карло на рулетке чёрное выпало 26 раз подряд. После десятого чёрного публика поняла: теперь-то красное обязано выпасть, справедливость требует. Ставки росли с каждым оборотом, состояния переходили к казино. Но у колеса нет памяти, и оно никому ничего не должно. А русская солдатская статистика давно придумала для этого свою формулу: снаряд дважды в одну воронку не падает. У неё та же болезнь. Расчёту орудия нет дела до вашей воронки, стало быть, туда падает по обычным расценкам. Наука зовёт это ошибкой игрока. Независимые события не ведут бухгалтерии.

Мишень пририсована после выстрела. Вы подумали про старого друга, и он позвонил. Какова была вероятность? Очень малая, говорите вы и делаете выводы о тонких связях. Но до звонка вы не заказывали именно этого друга и именно этот час. Годилось бы и другое: одноклассница на улице, песня по радио, сон об экзамене. Так стрелок сначала палит по стене сарая, а потом рисует мишень вокруг дырки и получает приз за меткость. Вероятность нужно считать до выстрела, а не после. К этой теме мы ещё вернёмся, когда дойдём до мёртвого лосося.

Как совпадения работают в настоящей науке

Задачу о днях рождения проверила жизнь. В составе футбольной команды на чемпионате мира как раз 23 человека. Би-би-си в 2014 году проверила 32 заявки и нашла общий день рождения в 16 командах. Ровно половина, как в учебнике, и болельщики ни о чём не догадывались.

Та же математика разоблачает сенсации. В сентябре 2009 года болгарская лотерея два тиража подряд, 6 и 10 числа, выдала одни и те же шесть чисел: 4, 15, 23, 24, 35, 42. Министр спорта назначил расследование, газеты заговорили о махинациях. Заданная шестёрка из 49 чисел выпадает с вероятностью 1 из 13 983 816. Но действует наше правило пар. Как посчитал статистик Дэвид Хэнд, чтобы повтор в одной лотерее стал вероятнее обратного, достаточно 4404 тиражей, а это меньше 43 лет при двух тиражах в неделю. А лотерей на свете много. Невероятно тут только то, что тиражи шли подряд, но такое попадает в газеты, а повтор через семь лет никто и не заметит.

Математик Джон Литлвуд закончил про это раз и навсегда. Назовём чудом то, что имеет для человека особое значение и случается с вероятностью 1 на миллион. Восемь часов в день вы бодрствуете и замечаете примерно по событию в секунду. За месяц набегает около миллиона событий. Значит, чудо с вами случается примерно раз в месяц. Эту мысль физик Фримен Дайсон назвал законом чудес Литлвуда. Церковь тут ни при чём, закон про другое: при большом числе попыток невероятное обязательно.

А вот тут не до шуток. В 2001 году Кэтрин Тройер, аналитик криминалистической лаборатории Аризоны, обнаружила в базе ДНК двух преступников с поразительно похожими профилями. Потом проверили все около 65 тысяч профилей и нашли 122 пары, совпадающие по 9 участкам из 13. А в судах при этом звучали цифры страшно внушительные, одна на миллиарды. Скандал? Стивен Левитт посчитал, и вышло по тому же правилу. В базе около двух миллиардов пар и множество способов выбрать девять участков, так что около сотни совпадений ожидалось чисто случайно. То есть судебные оценки не обязательно лживы, просто они отвечают на вопрос об одной паре. Когда подозреваемого ищут прогоном по базе, совпадение доказывает уже гораздо меньше, и суду стоит это понимать. Та же задача о днях рождения стоит за расчётом длины криптографических ключей: взломщики так и называют поиск совпадений атакой дней рождения.

Запомним одну вещь на будущее. В суде всё теперь держится на том, какой именно вопрос мы задали к вероятности. Следующая глава как раз об этом, и ценой ошибки там будет чужая жизнь.

Задачи

1. Зонт. Синоптик десять раз подряд обещал дождь с вероятностью 70%. Сколько дождливых дней в среднем получится, если он честен? Какова вероятность, что дождь пойдёт все десять дней?

Ответ: в среднем семь дней. Все десять: 0,7 в десятой степени, около 2,8%. В остальные три дня синоптика будут ругать по расписанию.

2. Школьный класс. В классе 30 человек. Сколько в нём пар учеников? Больше или меньше половины вероятность совпадения дней рождения?

Ответ: пар 30 · 29 : 2 = 435. Вероятность около 71%, так что на пари с одноклассниками можно заработать на обед.

3. Мой день. В конторе 30 ваших коллег. Какова вероятность, что хоть один из них родился именно в ваш день?

Ответ: 1 - (364/365) в тридцатой степени, около 8%. Только восемь процентов, что кто-то разделит с вами торт. Ваша пара там одна из тридцати, потому так мало.

4. Справедливость колеса. На европейской рулетке 18 чёрных ячеек, 18 красных и зеро. Чёрное уже выпало 26 раз подряд. Какова вероятность чёрного в следующий раз?

Ответ: 18/37, около 48,6%. Как и двадцать шесть оборотов назад. Колесо не читало эту главу и про серию не знает.

5. Вещий сон. В городе 100 тысяч жителей. Каждому каждую ночь что-то снится, и пусть сон случайно сбывается наутро с вероятностью 1 на 10 тысяч. Сколько вещих снов будет в городе за ночь?

Ответ: 100 000 · 1/10 000 = 10. Десять человек каждое утро рассказывают о своём даре. Девяносто девять тысяч девятьсот девяносто ни о чём таком не рассказывают, их в передачи не зовут.

Глава 7. Положительный тест у здорового человека

Вы прошли обследование просто так, за компанию, и вдруг тест на редкую болезнь положительный. Болезнь условная, но у вас она уже звучит как приговор. Тест точный: больных угадывает в 90% случаев, здоровых ошибочно помечает лишь в 9%. Вы считаете в уме и получаете: примерно 90% за то, что вы больны. Дальше пишется завещание, жена узнаёт, что такое гараж, тёща надевает лучшее платье.

Здесь стоит спросить одну вещь, которую паника спрашивать не даёт: а насколько эта болезнь вообще редкая? Пусть ей болеет один человек из ста. Здравый смысл с процентами не дружит, зато отлично умеет считать людей. Соберём целый городок в десять тысяч жителей и прогоним их через этот тест.

Больных в городке 100 человек. Тест пометит 90% из них, то есть 90 человек. Здоровых 9900. Тест ошибочно пометит 9% из них, то есть 891 человека. Итого положительный тест получили 981 человек, и больны из них 90. Вы в этой очереди стоите среди почти тысячи человек, и девять из десяти там просто за компанию. Вероятность того, что вы больны, не 90%, а 90 : 981, то есть около 9%. Завещание пока можно убрать в стол, а врачу позвонить обязательно: девять процентов это уже в девять раз больше, чем было утром, и проверяться надо. Только уже без тёщи в платье.

Формула преподобного

То, что мы сейчас посчитали на людях, в буквах называется теоремой Байеса. Надо только привыкнуть к одному значку. Запись P(A | B) читается так: вероятность A при условии, что B уже случилось. Палочка значит «среди тех, у кого». Среди тех, у кого тест положительный, сколько больных?

Ужас в начале главы происходил из того, что мы спутали две вещи. 90% это P(тест положителен | болен). А вас волнует P(болен | тест положителен). Это разные числа, и одно не выводится из другого, пока не знаешь, насколько болезнь распространена вообще. Английский преподобный отделил мух от котлет: вторая дробь выражается через первую и через долю больных. Та доля P(A), которая была известна до теста, называется априорной вероятностью. То, что получилось после, апостериорной. Слова пугающие, а смысл домашний: что думал до и что думаешь после.

Здесь как раз живёт третий смысл вероятности из прошлой главы. Байес позволяет менять уверенность под давлением фактов. Сдали второй такой же независимый тест, и он снова положительный? Теперь ваши априорные не 1%, а уже 9%. Считаем по той же формуле и получаем около 50%. Третий даст уже около 91%. Умный человек не прыгает от «верю» к «не верю», он доворачивает своё мнение по чуть-чуть, как гайку. Так делает байесовский подход в науке, да и хороший следователь.

Когда вопрос переворачивают

Попутать P(A | B) и P(B | A) очень легко, и на примере очень смешно. Какова вероятность, что папа римский мужчина? Единица. А что случайный мужчина окажется папой римским? Примерно один к четырём миллиардам, и место уже занято.

Тот же самый фокус в суде называется ошибкой прокурора. На неё мы и посмотрим, и дальше шуток не будет.

Салли Кларк, английский юрист, в 1996 и 1998 годах потеряла двух маленьких сыновей, обоих на первых месяцах жизни. Её обвинили в убийстве. На процессе 1999 года педиатр Рой Мидоу заявил, что в такой семье внезапная детская смерть случается примерно в одном случае из 8543. А две подряд, значит, 8543 в квадрате: один шанс из 73 миллионов. Суд присяжных большинством в 10 голосов против 2 признал её виновной, приговор был пожизненным.

В этом рассуждении две грубые ошибки. Первая: возводить в квадрат можно только независимые события. А в одной семье смерти младенцев могут быть связаны общими генами и общими условиями, и после первого такого случая шанс второго оценивают примерно в 1 к 100. Вторая и главная: присяжные слышали «такое почти не бывает» и делали вывод «значит, виновна». Это тот самый перевёрнутый вопрос. Двойное убийство собственных младенцев тоже вещь чрезвычайно редкая. Сравнивать надо не редкость с нулём, а одну редкость с другой. Математик Рэй Хилл внёс обе поправки и заключил: если брать только сам факт двух необъяснённых смертей, вероятность её вины могла составлять всего около десяти процентов.

В октябре 2001 года Королевское статистическое общество публично заявило, что цифра «1 из 73 миллионов» не имеет статистического основания. В январе 2003 года приговор отменили по второй апелляции, главным образом потому, что всплыли скрытые патологом результаты микробиологического анализа. Больше трёх лет она провела в тюрьме как убийца своих детей. Салли Кларк не оправилась от пережитого и умерла в 2007 году. Вот что бывает, когда присяжные не знают, что означает палочка в формуле.

Ну и последнее предупреждение, уже в другую сторону. Байес ничего не знает от себя, он выдаёт только то, что вложили. Начальную цифру нужно брать для своего случая. Проверяющийся за компанию и человек, которого врач отправил на тот же тест из-за симптомов, стоят в разных толпах. У второго та же положительная полоска значит совсем другое. Так что эта глава не повод отмахнуться от плохого анализа, нужна повторная проверка и врач.

Как Байес работает в настоящей науке

Томас Байес был пресвитерианским священником в Танбридж-Уэллсе, умер в 1761 году и своёго главного труда не напечатал. Рукопись разобрал и представил Королевскому обществу его друг, тоже священник, Ричард Прайс, в 1763 году. Так метод, который потом будут то боготворить, то проклинать поколения статистиков, вошёл в мир в посмертной публикации с помощью двух священников, что неплохо звучит для теории об уточнении своих верований.

В 1940 году в Блетчли-Парке Алан Тьюринг и Джек Гуд взламывали морскую «Энигму» с помощью собственной единицы измерения улик, бана и децибана. Улики складывались, пока не перевешивали сомнения. Гуд потом настаивал, что это по сути байесовский вывод, хотя нашлись и философы с другим мнением.

Настоящий триумф ждал в почтовом ящике. В августе 2002 года Пол Грэм опубликовал эссе «План против спама». Его фильтр поступал так, как давно поступают лингвисты. Он считал, как часто слово встречается в спаме и в обычной почте, и по Байесу обновлял уверенность слово за словом. В первом тесте на собственной почте автора он словил около 99,5% спама и не ошибся на нормальных письмах ни разу. Пресвитерианский священник из XVIII века вошёл в каждый почтовый ящик на борьбу с рекламой средств для потенции.

Но самая важная практика сегодня другая. Герд Гигеренцер, тот самый исследователь дождя из прошлой главы, дал группе из 150 гинекологов похожую задачу про маммограмму: 1% больных, тест угадывает 80% больных, 9,6% ложных тревог. Верный ответ примерно 8%. До занятия справились 21% врачей. После часовой лекции, на которой он научил их просто считать людей вместо процентов, как мы в начале этой главы, справились 87%. Так что, если ваш врач или адвокат торжественно называет процент, спросите его: сколько это человек из тысячи? За лекцию врачи научились, а вы уже умеете.

Задачи

1. Прибор не пьёт. Из 1000 водителей на посту пьяных 20. Трубка ловит 95% пьяных и ошибочно помечает 5% трезвых. Трубка загорелась. Какова вероятность, что водитель пьян?

Ответ: пьяных поймано 19, трезвых ошибочно 49. Получаем 19 : 68, около 28%. Обидно, конечно, но инспектору этот расчёт лучше не предлагать.

2. Помада на воротнике. Жена до находки оценивала шанс измены мужа в 5%. При измене помада появляется в половине случаев, без измены в 5% (маршрутка, тёща, корпоратив). Что она должна думать после находки?

Ответ: 0,5 · 0,05 : (0,5 · 0,05 + 0,05 · 0,95) примерно 34%. Сковородку можно взять, но пока без удара.

3. Такси. В городе 85% такси зелёные, 15% синие. Свидетель ночного ДТП видел синее такси, при этом цвета он различает верно в 80% случаев. Какова вероятность, что такси действительно синее?

Ответ: из 100 машин синих верно назовут 12, зелёных ошибочно 17. Получаем 12 : 29, около 41%. Свидетель честен, а такси всё равно скорее зелёное.

4. Слово-предатель. Спама в почте половина. Слово «подарок» есть в 60% спама и в 2% обычных писем. Пришло письмо со словом «подарок». Это спам?

Ответ: 0,3 : (0,3 + 0,01) примерно 97%. Только тёща пишет про подарок искренне, и фильтр уводит её в корзину вместе со всеми.

5. Ошибка прокурора. На месте преступления найден след, который случайно совпадает с 1 человеком из миллиона. В базе города на 5 миллионов нашли Петровича с таким следом, других улик нет. Прокурор говорит: шанс невиновности 1 на миллион. Каков он на самом деле?

Ответ: в городе ожидается около пяти случайных обладателей следа и один преступник. Виновен Петрович с вероятностью 1/6, и невиновен с вероятностью около 83%. За старое он, конечно, ответит, но тут оправдан.

Глава 8. Прусские кони и опечатки

Главный редактор листает свежую книгу и вдруг багровеет: на сто семьдесят третьей странице три опечатки! На одной! В книге на 300 страниц их всего полтораста, в среднем половина опечатки на страницу. Редактор зовёт корректора: ты что, на сто семьдесят третьей заснул? Там диверсия, туда беги, всю перепроверь! Корректор, человек сухоносый и пьющий, отвечает, что такие страницы тут обязаны быть, и что таких страниц в книге должно быть около четырёх. Редактор выгоняет его из кабинета, но зря: корректор прав.

Здравый смысл думает про такие вещи примерно так: раз в среднем половина, значит, на каждой странице должно быть так и сяк, ну ноль, ну одна. Три на одной это уже кто-то виноват. На самом деле случай редко кладёт поровну. Он совсем не шариковец из первой главы. Случай любит кучки, дырки и пустыри.

Вопрос можно задать точнее. Букв в книге огромное множество, ошибка на каждой случается очень редко, и соседние ошибки про друг друга не знают. Три условия: шансов много, каждый мал, все независимы. Окажется ли при этих условиях картина одной и той же и у опечаток, и у смертей от конского копыта? Оказывается, да.

Метод имени копыта

В 1898 году в Лейпциге вышла книжка «Закон малых чисел». Её написал Ладислав Борткевич, уроженец Петербурга из польских дворян, успевший поработать и в германских университетах, и на российских железных дорогах. Великие умы искали в ту пору законы истории и нравственности. Борткевич взял другое: сколько прусских кавалеристов за год погибло от удара конским копытом. Без всякого почтения к высокому он сложил 200 корпусо-лет и 122 покойника, то есть по 0,61 на корпус в год. Каждый конь мог лягнуть в любой день, лягал очень редко, с соседним корпусом не совещался. Все три условия соблюдены.

Математика на этот случай готова была уже шестьдесят лет: в 1837 году француз Симеон Дени Пуассон вывел формулу для таких редких событий, и нужна она была ему, как и следовало ожидать, для судебных приговоров. Для неё нужно знать одно число, среднее количество событий. Греческая буква лямбда выглядит в ней грозно, но на деле это те же наши 0,61.

Смотрите, как сошлось. В 109 случаях из 200 кони за год никого не убили, формула обещала 108,7. По одному убитому: 65 случаев, обещано 66,3. Четыре убитых за год случились один раз, и формула насчитала 0,6 такого случая. Объяснять этот чёрный год плохим начальством или происками врагов не нужно. Это просто очень большая неудача, и в таблице она предусмотрена.

Теперь вернёмся к нашему главному редактору с его тремя опечатками. Подставляем лямбда = 0,5 для 300 страниц. Совсем чистыми окажутся около 182 страниц, с одной опечаткой около 91, с двумя около 23, с тремя около четырёх. Заметьте, больше половины книги без единого греха, и никто за это корректора премию не выдаст. Четыре страницы с тремя опечатками не диверсия, а расписание.

У такого распределения есть удобное свойство. Его разброс совсем не надо измерять отдельно, он задан самим средним.

Эта картинка стоит целой главы. Я попросил компьютер бросить 225 точек на поле наугад, без всяких намерений. Глаз тут же находит сгустки и пустоты и начинает объяснять: почему тут так густо? Кто-то постарался? Никто не старался. Настоящая случайность всегда выглядит подозрительно, потому что в ней обязаны быть скопления. Ровненькая сетка, по одной точке в клетке, вот что было бы настоящим заговором.

Когда конь даёт осечку

Формула держится на трёх ногах, и каждую можно подшибить.

События знают друг о друге. Если наборщик до обеда трезв, а после обеда нет, опечатки будут кучковаться страницами. Больной гриппом заражает соседей, и провалившийся студент манит за собой остальных. Тогда пустых клеток и переполненных становится больше, чем обещает формула, и дисперсия обгоняет среднее. И вот это уже повод искать причину.

Среднее плывёт. Пусть придорожный кафе принимает в среднем десять человек в час. В обед оно видит тридцать, в три ночи одного. Формула с лямбда = 10 будет плоха и для обеда, и для ночи. Каждому часу нужна своя лямбда.

Границы рисуют после выстрела. На карте всегда найдётся деревня с подозрительным числом редких болезней. Если обвести её кружком уже после того, как увидел, любой случайный сгусток превратится в сенсацию. Это наша мишень из шестой главы. Скопление может быть настоящим, и проверять его надо, но посчитать при этом стоит, а не кричать.

Где это применяют всерьёз

Летом 1944 года на Лондон падали немецкие самолёты-снаряды Фау-1, и в городе часто говорили, что они ложатся кучно, будто некоторые кварталы выбраны нарочно. Для людей под обстрелом это был вопрос совсем не отвлечённый. В 1946 году английский актуарий Р. Д. Кларк разделил 144 квадратных километра юга Лондона на 576 квадратов и подсчитал 537 попаданий. Без единого попадания остались 229 квадратов, формула Пуассона предсказывала 226,7. С одним попаданием оказался 211 квадратов при расчёте 211,4. С четырьмя 7 квадратов при расчёте 7,1. Скопления были настоящими, люди их не выдумали, но именно такие скопления и даёт случайное падение. Кларк не нашёл в этих данных признаков прицеливания по отдельным кварталам внутри обследованного района.

В 1907 году сотрудник пивоварни Гиннесса Уильям Госсет, подписывавшийся псевдонимом Стьюдент, считал под микроскопом дрожжевые клетки на сетке из 400 квадратиков. От этого подсчёта зависело пиво, а значит, дело было важное. Распределение и тут оказалось пуассоновским, а небольшое отклонение в сторону многолюдных квадратиков он объяснил: клетки почкуются и слипаются, то есть нарушают независимость. Вот вам наша первая нога прямо под микроскопом. С самим Госсетом мы ещё встретимся в двадцать первой главе.

В те же годы датский инженер Агнер Эрланг, работавший в Копенгагенской телефонной компании и лично лазивший в уличные люки, показал, что звонки на станцию подчиняются тому же закону. В 1909 году он опубликовал об этом статью. Отсюда пошла теория очередей, по которой сегодня считают, сколько нужно операторов в колл-центре, касс в магазине и серверов на сайте. Если вас пятнадцать минут уговаривают оставаться на линии, знайте: кто-то сознательно подставил в формулу маленькое число операторов.

А самая красивая история здесь о том, как формула не сошлась. В 1943 году Сальвадор Лурия и Макс Дельбрюк заражали колонии кишечной палочки вирусом и считали, сколько бактерий выжило. Если бы устойчивость появлялась в ответ на встречу с вирусом, то числа выживших от чашки к чашке шли бы по Пуассону, с дисперсией, равной среднему. Дисперсия оказалась намного больше среднего: то почти никого, то джекпот. Значит, мутации возникли заранее и случайно, ещё до всякого вируса, а потом размножились вместе с потомством. Нобелевская премия 1969 года досталась в том числе и за это. Сравнение дисперсии со средним, которое вы только что освоили за одну страницу, помогло установить, как устроена изменчивость живого.

Задачи

Задача 1. В книге 200 страниц и 100 опечаток. Сколько страниц окажется совсем чистыми, если опечатки легли случайно?

Ответ. лямбда = 0,5, вероятность чистой страницы e^-0,5 примерно 0,61, значит, около 121 страницы. Остальные 79 страниц делят между собой 100 опечаток, и автор, открыв любую из них, скажет, что корректора надо гнать. Гнать не за что: корректор работал ровно как случайный процесс, хотя платили ему как человеку.

Задача 2. Тёща звонит в среднем два раза в день, в случайные моменты. Как часто выпадает день совсем без звонка?

Ответ. e^-2 примерно 13,5 %, то есть примерно 49 дней в году. Считать эти дни знаком примирения не следует, как и знаком заговора. Это просто хвост распределения, и на следующий день среднее восстановит справедливость.

Задача 3. На перекрёстке случается в среднем одно ДТП в месяц. Какова вероятность, что в данном месяце их будет три? Что случится, если такой месяц наступит?

Ответ. Формула даёт около 6,1 %, то есть такой месяц бывает примерно раз в полтора года. Когда он настанет, мэр потребует найти виновного и уволит начальника дорожной службы. В следующем месяце ДТП будет ноль или одно, и мэр запомнит, что железная рука работает.