Прикольная статистика

Задача 4. Автор популярной книги получает от читателей в среднем одно письмо за десять дней. Какова вероятность, что за десять дней не придёт ни одного?

Ответ. лямбда = 1, вероятность e^-1 примерно 37 %. Больше чем в трети таких периодов автор будет заключать, что его разлюбила страна. В среднем страна его и прежде любила на 0,1 письма в день.

Задача 5. В тысяче деревень сообщения о снежном человеке приходят в среднем по 0,5 за год на деревню. В скольких деревнях за год наберётся четыре сообщения и больше?

Ответ. Примерно в двух. Этого хватит на документальный фильм, областную экспедицию и магазин сувениров. Снежного человека для такого результата не требуется, требуется только тысяча деревень.

Глава 9. Почему лучшие школы часто маленькие

Областная газета печатает рейтинг школ по среднему баллу за ЕГЭ. Пример условный, адресов не ищите. На первом месте школа в селе Верхние Кочки: девять выпускников, средний балл 81. Знаменитая городская гимназия с девятьюстами выпускниками, бассейном и директором в таких часах, что на них можно купить Верхние Кочки, стоит где-то посередине, с баллом 66.

Здравый смысл справляется с этим за минуту и плачет от умиления. В маленькой школе учитель знает каждого ребёнка и каждую его корову. Никто не теряется в толпе, печка трещит, за окном берёза. Большая школа же фабрика бездушия, где ребёнок в одиннадцатом классе всё ещё ищет столовую. Вывод просится сам: гимназию поделить на сто Верхних Кочек, бассейн засыпать, берёзу посадить. Министр областного образования уже собирает совещание.

На совещании никто не дочитывает газету до конца. А на последнем месте в рейтинге стоит школа в селе Нижние Кочки: семь выпускников, средний балл 49. Та же печка, та же берёза, та же корова.

Эта история условна только в названиях сёл. В конце девяностых в Америке заметили, что среди школ с лучшими баллами маленьких подозрительно много, и пошло движение за разделение больших школ на малые. В него вложили миллиарды долларов. Фонд Билла и Мелинды Гейтс увлёкся этой идеей всерьёзно, и к 2001 году раздал образовательных грантов примерно на 1,7 миллиарда. Цифры вроде бы подтверждали: в Пенсильвании из 1662 школ в первую полсотню по баллам вошли шесть школ из полсотни самых маленьких, то есть 12 % вместо положенных трёх.

Затем статистики Ховард Уэйнер и Харрис Зверлинг сделали то, что не пришло в голову нашему министру. Они дочитали таблицу до конца. Среди пятидесяти худших школ Пенсильвании девять оказались из той же полсотни самых маленьких: 18 % вместо трёх. Маленькие школы толпятся и наверху, и внизу. Так лучше они или хуже? И почему миллиарды пошли в дело только по верхней строчке?

Закон, который знает каждый дурак

Швейцарский математик Якоб Бернулли великодушно уведомлял Лейбница в 1703 году: даже самый тупой человек без всякого обучения, каким-то чудным природным чутьём знает, что чем больше наблюдений, тем меньше опасность промахнуться. После чего потратил на доказательство этой очевидности около двадцати лет и назвал её золотой теоремой. Книгу «Искусство предположений» племянник выпустил в 1713 году, через восемь лет после смерти автора. Имя «закон больших чисел» дал в 1837 году Пуассон, наш знакомый по прусскому копыту.

Зачем двадцать лет, если дурак и так знает? Дурак знает, что среднее по большому числу надёжнее. Он не знает, стремится ли оно к истине или какому-то своему пределу, можно ли подобраться к истине сколь угодно близко и сколько наблюдений для этого нужно. Бернулли доказал, что можно. Точное же правило нашёл к 1730 году француз Абраам де Муавр, живший в Лондоне. Разброс среднего падает не вместе с числом наблюдений, а вместе с корнем из него. Эту небольшую формулу статистик Уэйнер назвал самым опасным уравнением в истории: не потому, что она взрывается, а потому, что очень дорого обходится тем, кто её не знает.

Здесь s это уже знакомое вам из третьей главы стандартное отклонение. Но теперь речь о двух разных разбросах: среди отдельных учеников и среди средних по целым школам. Возьмём условно, что отдельные дети пишут ЕГЭ с разбросом 15 баллов, а среднее везде 65. У верхнекоченских девяти среднее гуляет с разбросом 5, у девятисот гимназистов с разбросом 0,5. В пределах двух разбросов село будет показывать то 55, то 75 при неизменной печке и берёзе, а гимназия всегда от 64 до 66. Из девяти детей один выдающийся мальчик или один полный отморозок двигает среднее всего села на несколько баллов. В гимназии тот же отморозок растворяется без следа.

То же самое с Петровичем. Помните его пять банных заходов: 2, 3, 3, 4 и 13 кружек? Один загул поднял среднее с трёх до пяти. Будь у нас не пять заходов, а сто, тот же загул добавил бы к среднему всего десятую долю кружки. Петрович, безусловно, не стал бы трезвее, но его среднее стало бы.

Отсюда же принципиально неприятное следствие. Точность стоит дорого. Чтобы уточнить среднее вдвое, наблюдений нужно вчетверо больше. Вдесятеро? В сто раз больше. Помещённый в войну в лагерь для интернированных в Дании математик Джон Керрих вместе с товарищем по заключению бросил монету 10 000 раз и получил 5067 орлов. Доля 50,67 % при ожидаемом разбросе полпроцента. Закон можно проверить и дома, нужна только монета и очень много времени.

А теперь главная картинка. Я попросил компьютер создать тысячу условных школ одинакового качества. Вообще одинакового, всем детям балл выпадает случайно вокруг 65. Отличается только число выпускников, от девяти до девятисот.

Вот она, воронка. Из пятидесяти лучших школ 32 попали в пятую часть самых маленьких, где не больше двадцати выпускников. При равном счёте их было бы десять. Из пятидесяти худших маленьких оказались 31. А школы с двумя сотнями и больше выпускников, которых тут треть, не попали ни в верхнюю полсотню, ни в нижнюю. Ни одна. Они плотно стоят в середине, как средний класс на плакате. При этом министр проведёт совещание, вручит премию школе с баллом 80 на десять учеников и снимет директора школы с баллом 54 на четырнадцать. Разница между этими директорами в нашем опыте равна нулю, их вообще не существует.

Ответ на вопрос главы теперь прост. Лучшие школы часто маленькие, потому что и худшие часто маленькие. Маленькие школы не лучше и не хуже, они просто дёргаются сильнее, как лодка на волне рядом с ледоколом.

Чего закон больших чисел не обещал

Он не возвращает долги. 18 августа 1913 года в казино Монте-Карло чёрное выпало 26 раз подряд. Шанс на такую серию примерно один на 137 миллионов. Уже после десятого чёрного уважаемая публика попёрла ставить на красное: по закону больших чисел должно же выравняться! Оставили на столе миллионы франков. Ни колесо, ни монета не ведут бухгалтерии. Закон работает не возвратом долга, а разбавлением. У Керриха над ровной половиной остался излишек в 67 орлов, и никто его не отдал. Он просто утонул в десяти тысячах бросков.

Он не чинит кривые весы. Закон убирает случайную ошибку и не трогает постоянную. Если в кружке Петровича не поллитра, а три четверти без пены, то через миллион заходов мы узнаем точное неверное число, до третьего знака. Большая выборка из не тех людей просто врёт очень уверенно. Как журнал с двумя миллионами анкет простудился на президентских выборах, мы увидим в одиннадцатой главе.

Он требует независимости. Корень из n в формуле стоит потому, что случайные отклонения у разных людей друг друга гасят. Если девятьсот гимназистов пишут в одном здании, где в этот год случилась утечка заданий или уволился хороший математик, то отклонения накладываются, и девятьсот человек дают не девятьсот свидетельств, а гораздо меньше. Так же тысяча опрошенных из одного подъезда выражают мнение подъезда, а не тысячи.

Он может тянуть вечность. В пятой главе мы видели тяжёлые хвосты, где один бестселлер перевешивает тысячу книг без читателей. Там среднее может долго стоять, а потом подпрыгнуть от одного наблюдения. А в крайнем случае, например у распределения Коши, среднего не существует вообще: среднее из миллиона таких чисел не надёжнее одного. Закон не действует, потому что у него нет предмета.

И он не отменяет настоящих различий. Воронка не доказывает, что все маленькие школы средние. Вполне может быть гениальная учительница в Верхних Кочках. Воронка говорит, что один балл за один год этого не показывает. Хотите знать про учительницу, смотрите много лет подряд и сравнивайте с такими же детьми. В 2009 году Билл Гейтс сам написал в годовом письме фонда, что многие маленькие школы, куда они вложились, успеваемость сколько-нибудь заметно не подняли, хотя посещаемость и доля выпускников там часто были выше, чем у соседей. Маленькая школа может быть в чём-то лучше, только узнавать это по верхней строчке рейтинга нельзя.

Где это применяют всерьёз

Начнём с цены незнания. Примерно с 1150 года в Англии проводился суд над монетами, так называемый Trial of the Pyx, по имени ящика, куда откладывали образцы. Мастеру монетного двора разрешали небольшой допуск. На примере более поздней гинеи допуск составлял 0,28 грана на монету и, совершенно естественно для здравого смысла, 28 гранов на сотню монет. А случайные ошибки складываются по корню: на сотню хватило бы в десять раз меньше, 2,8 грана. Мастер, снимавший по чуточке с каждой монеты, спокойно проходил суд. Историк статистики Стивен Стиглер осторожно пишет, что есть некоторые свидетельства, что мастера так и делали. Близко шести веков, до работы Муавра, английская корона охраняла своё золото правилом, неверным в десять раз.

Затем карты болезней. Когда в США нанесли на карту округа с самой низкой смертностью от рака почки, оказалось, что это почти сплошь сельская глубинка. Объяснение готово: чистый воздух, простая еда, своё молоко. Но округа с самой высокой смертностью тоже оказались сельской глубинкой, и нередко тут же, по соседству. Объяснение тоже готово: бедность, табак, больница в трёх часах езды. А дело в арифметике. В округе из ста человек ноль смертей дают нижнюю строчку таблицы, а одна смерть верхнюю. Вот почему перед тем, как искать причину болезни, эпидемиолог смотрит, сколько там вообще людей.

Затем психология. Амос Тверски и Даниэль Канеман спросили людей: есть два роддома, в одном рождается около 45 детей в день, в другом около 15. Где за год будет больше дней, когда мальчиков родилось больше 60 %? 56 % ответили что примерно поровну, и лишь 22 % назвали маленький. Расчёт даёт около 15 % таких дней в маленьком роддоме и около 7 % в большом. Бернулли был слишком оптимистичен. Чутьё срабатывает, когда просишь угадать среднее, а когда речь о разбросе средних, оно у большинства спит.

Затем больницы. Сравнивать клиники по смертности простой таблицей нельзя: небольшое отделение случайно окажется и первым, и последним. Поэтому кембриджский статистик Дэвид Шпигельхалтер в 2005 году предложил для сравнения учреждений ту самую воронку, что вы видели выше. Тот, кто внутри неё, не отличим от остальных. Тот, кто вышел за край, требует проверки. Воронка стала стандартным способом сравнения клинических исходов в британской службе здравоохранения, в том числе для детской хирургии сердца. Здесь от формулы может зависеть и честь хирурга, и жизнь пациента.

Наконец, вот как на законе больших чисел зарабатывают. Страховая компания не знает, у кого из вас сгорит дом, но при ста тысячах независимых домов она довольно точно знает, сколько их сгорит. Закон превращает чужую катастрофу в статью бюджета. И рушится это, как и следует, только когда пропадает независимость: наводнение затапливает дома всех клиентов сразу.

Тот же закон сидел и в Монте-Карло в 1913 году. Публика ждала от него услуги за двадцать шесть вращений колеса. Казино с его одним зелёным зеро из тридцати семи делово ждало миллионы вращений и своих 2,7 %. Один и тот же закон, просто по разные стороны стола.

Задачи

Задача 1. В сельской школе 25 выпускников, разброс баллов у детей 15, обычный средний балл 65. В этом году средний балл 71, директор готовит пиджак под орден. Чудо ли это?

Ответ. Разброс среднего 15 / корень из 25 = 3, а 71 лежит в двух разбросах от 65. Чудо ожидается примерно раз в сорок лет, а школ таких в области достаточно, так что орденами можно запасаться ежегодно. На следующий год будет 66, и директору придётся объясняться.

Задача 2. Среднее Петровича по пяти заходам в баню известно с разбросом 4 / корень из 5 примерно 1,8 кружки. Сколько заходов нужно, чтобы узнать среднее с разбросом 0,4 кружки?

Ответ. 4 / корень из n = 0,4, то есть корень из n = 10, n = 100. Петрович готов послужить науке и ожидает грант. При независимости наблюдений, правда, сотню заходов нельзя делать подряд: следующая пятница после загула не независима.

Задача 3. У одной шашлычной на картах рейтинг 5,0 по двум отзывам, у другой 4,7 по трём тысячам. Пусть разброс оценок одного гостя равен единице. Куда идти?

Ответ. Разброс среднего у первой около 0,7, у второй около 0,02. Про вторую мы почти всё знаем, про первую только то, что у шашлычника есть тёща и брат.

Задача 4. На рулетке десять раз подряд выпало чёрное. Сосед по столу в галстуке шепчет, что теперь по закону больших чисел точно красное. Какова вероятность красного?

Ответ. Те же 18 из 37, около 48,6 %. Колесо памяти не имеет и про десять чёрных не знает. Знает про них только сосед, и галстук он скоро продаст.

Задача 5. Начальник автопарка опросил тысячу пассажиров и недоволен точностью. Он хочет втрое точнее. Сколько пассажиров опросить?

Ответ. Девять тысяч. За тройную точность девятикратные деньги, таков курс корня. Автобус при этом по-прежнему не придёт, но теперь мы точно знаем, насколько это всех бесит.

Глава 10. Откуда берётся колокол

Старшина выстраивает роту по росту. Формул он не держит, но глаз намётан: две-три каланчи на правом фланге, два-три заморыша на левом, а посередине главная масса людей одного калибра, на которых и шьют форму. Расставьте эту роту столбиками по сантиметрам, и получится холм с пологими склонами, похожий на колокол.

Пока ничего странного. Странное начинается, когда тот же холм получается у буханок на хлебозаводе, у ошибок землемера, у числа орлов при сотне бросков монеты. Буханка, землемер и монета друг с другом не совещались, и старшина им не приказывал. Откуда всюду одна и та же кривая?

Здравый смысл отвечает красиво: у природы есть замысел. Так думал и Адольф Кетле, знакомый нам по первой главе. В обхватах груди тех самых 5738 шотландских солдат он увидел в 1846 году колокол, тот самый, что у астрономов получался при ошибках измерения звёзд. Вывод его получился потрясающим. Природа целится в идеального среднего человека, а каждый живой шотландец есть промах в ту или иную сторону. То есть вы, уважаемый читатель, тоже результат косой стрельбы.

Звучит возвышенно, но один вопрос портит всю картину. Во что целится монета? У неё нет идеала в пятьдесят орлов. Дело, очевидно, не в замысле, а в чём-то гораздо более простом, и увидеть это можно за пять минут, имея доску, гвозди и горсть дроби.

Доска с гвоздями

Фрэнсис Гальтон, тоже знакомый нам по первой главе, был человеком, который измерял всё, что не успело убежать. (Он же придумал евгенику, и она обошлась человечеству очень дорого, шутить тут не о чем.) 27 февраля 1874 года он показал в Королевском институте в Лондоне нехитрое устройство. Доска стоит наклонно, в неё вбиты ряды гвоздей, сверху сыплется дробь. На каждом гвозде дробина отскакивает налево или направо, как получится. Внизу карманы. И в карманах каждый раз вырастает колокол, хотя никакой идеальной дробины природа в виду не имела.

Почему? Посчитайте пути. Пусть рядов десять. В крайний правый карман ведёт одна-единственная дорога: десять раз подряд направо. А в средний карман, где поровну правых и левых, ведут 252 разных дороги. Вот и вся тайна середины. Середина не лучше краёв, просто в неё больше дорог. Чтобы стать средним человеком, годится почти любая биография, а чтобы стать крайним, требуется десять одинаковых ударов судьбы подряд.

Эту формулу зубрить не надо. В ней всего два числа, которые вы выбираете: где центр и какая ширина. Всё остальное константы, причём потрясающей красоты: для расчёта, сколько дробин упадёт в карман, понадобилось число пи, которое про круги. Где тут круг, не спрашивайте, на пальцах этого не объяснить. Но что формула не врёт, проверяется на калькуляторе: для среднего кармана она даёт 0,252, а точный подсчёт путей 0,246. Десять гвоздей, а уже почти совпало.

Гальтон не скрывал восторга. В книге 1889 года он назвал это чудесной формой космического порядка и высшим законом Неразумия, а греки, писал он, олицетворили бы и обожествили его, знай они о нём. Греки действительно нашли бы место на Олимпе, они обожествляли и пьянку.

Теперь главное. Дробина на доске есть сумма многих маленьких независимых толчков. В 1733 году де Муавр, уже знакомый вам по прошлой главе, понял, что для монет такая сумма даёт колокол. Потом Лаплас расширил это на более широкие случаи, а настоящую общность дала русская школа: Чебышёв, Марков и Ляпунов, который около 1900 года доказал теорему для почти любых толчков. В 1920 году Дьёрдь Пойа назвал её центральной предельной теоремой, потому что она центральная для всей теории вероятностей. Смысл в одну строку: складывайте много мелких независимых причин, и получится колокол, какими бы ни были сами причины.

Здесь тайна буханки и тайна старшины. Буханка недобрала веса из-за муки, печи, сменщицы, семи мелочей. Рост складывается из тысяч генов с малым эффектом и маминых котлет, что Рональд Фишер показал в 1918 году. Кетле совершенно верно увидел факт, но природа тут никуда не целилась. Сам по себе идеальный средний шотландец тоже просто сумма.

А теперь проверим теорему на самом неудобном из наших героев. Банные заходы Петровича никакого колокола не образуют: 2, 3, 3, 4 и 13 кружек, три торчка слева и один памятник справа. И вот что будет со средним за несколько заходов, если каждый раз тянуть наугад из этих пяти чисел.

За пять заходов колокола ещё нет. Есть горбы, и каждый означает число загулов: ни одного, один, два, три. За тридцать заходов горбы сливаются, хотя справа кривизна ещё заметна. За сотню перед нами колокол, с центром в тех же пяти кружках и шириной посчитанной в прошлой главе: четыре, делённые на корень из ста. Закон больших чисел сообщал, куда стягивается среднее и как быстро. Центральная предельная теорема сообщает, какую форму оно имеет по дороге. Данные могут быть сколь угодно кривыми, но их среднее ведёт себя прилично. Петрович остаётся кривым, но среднее его при этом идёт прямо.

У колокола есть практическое правило, которое стоит помнить наизусть: в пределах одной ширины от центра лежит 68 % всех значений, в пределах двух 95 %, в пределах трёх 99,7 %. Проверим на шотландцах Кетле. Средний обхват груди у них 39,8 дюйма, разброс 2,05. В пределах одного разброса лежит 66,8 % солдат, в пределах двух 95,3 %. Шотландцы теоремы не читали, но строй держат.

Когда колокол треснет

Причины не мелкие. Если среди толчков есть один огромный, он и будет диктовать форму. Загул Петровича на пяти заходах вы только что видели: вместо колокола стоят горбы. Теорема про предел, а не про пять бутылок, и чем кривее исходные данные, тем дольше ждать.

Причины не складываются, а перемножаются. У кого уже есть миллион, тот зарабатывает процентами от миллиона, а у кого тысяча, тот процентами от тысячи. Книгу, которую уже читают, читают ещё больше. Тут получается не колокол, а перекошенная кривая с длинным хвостом из пятой главы. Зарплата, доход и население городов колоколом не бывают, сколько бы людей и городов ни перебрать.

Причины не независимы. Если все одновременно бегут продавать, потому что все бегут продавать, теорема молчит. Вдобавок колокол хорош в середине и плох в хвостах. 19 октября 1987 года биржевой индекс S&P 500 упал за день на 20,5 %, то есть примерно на 25 разбросов обычного дня. В августе 2007-го финансовый директор Goldman Sachs Дэвид Виньяр пожаловался, что они наблюдают события в 25 стандартных отклонений, несколько дней подряд. По формуле колокола вероятность одного такого события примерно 3 · 10^-138. Для понимания: возьмём условно средний рост 176 сантиметров и разброс 7. Человек в двадцать пять разбросов имеет рост 3 метра 51 сантиметр. И вот такой заходит в банк несколько дней подряд. Тут прилично уже не удивляться великану, а поменять модель.

Не всё то, что названо колоколом, колокол. Физик Габриэль Липпман зло заметил: все верят в нормальный закон, экспериментаторы потому, что думают, будто это математическая теорема, а математики потому, что думают, будто это экспериментальный факт. В 1989 году Теодор Микчери проверил 440 больших наборов данных по успеваемости и психологическим тестам. Статью он назвал «Единорог, нормальная кривая и другие неправдоподобные существа». Ни один из 440 наборов нормальным тест не прошёл. А колокол в IQ вообще сделан по приказу: баллы пересчитывают так, чтобы получился центр 100 и разброс 15. Это как старшина, который выстроил роту и доложил, что она ровная.

И слово не то. В учебниках колокол зовут нормальным распределением. Карл Пирсон, который это название ввёл в обиход, в 1920 году сам жаловался, что оно заставляет людей думать, будто все остальные распределения ненормальные. Так оно и вышло. Запомните: колокол не норма, а ответ арифметики. Кому в роте не досталось середины, тот не брак.

Где это применяют всерьёз

Самое главное применение вы увидите в следующих главах, и оно занимает половину книги. Когда социолог говорит «плюс-минус три процента», а фармаколог «лекарство помогает», они не знают формы исходных данных. Они знают форму среднего. Теорема дарит науке настоящую роскошь: судить о точности по одной выборке, не зная, как устроена исследуемая толпа. Без неё не было бы ни доверительных интервалов, ни большинства критериев, которыми проверяют гипотезы.

Астрономия пользовалась колоколом раньше всех. В начале XIX века Карл Фридрих Гаусс вывел закон ошибок наблюдений и по нескольким неточным отсчётам вычислил орбиту пропавшей Цереры. Оттого кривую зовут ещё гауссианой, и попала она на немецкую банкноту в десять марок рядом с портретом Гаусса. Не без иронии: формула, по которой финансисты потом ошибутся на двадцать пять разбросов, так и висела у них в кошельке.

Заводы взяли колокол на службу в двадцатом веке. Служебная записка Уолтера Шухарта из третьей главы, поданная 16 мая 1924 года, занимала одну страницу, и треть её занимал чертёж. Так появилась контрольная карта. Теперь видно, на чём она стоит: мелкие причины дают колокол, поэтому точка за тремя разбросами означает уже особую причину. В 1986 году Билл Смит из Motorola довёл это до программы «Шесть сигм», где целью стало 3,4 брака на миллион. Ровно шесть сигм при этом там нет: в расчёт заложен сдвиг в полторы сигмы, который статистик Дональд Уилер назвал дурацким. Зато специалистам по внедрению там выдают чёрные пояса, как в каратэ. Петрович бы оценил.

И физика. В 1905 году Эйнштейн увидел в беспорядочной танце пылинки в воде доску Гальтона без доски. Пылинку толкают невидимые молекулы, толчков много, каждый мал, и сумма получается колоколом с шириной, растущей как корень из времени. Когда Жан Перрен это измерил, сомнения в существовании атомов стали неприличными. Тот же самый корень из n, что у школы в Верхних Кочках, помог доказать, что мир состоит из атомов.

Задачи

Задача 1. На доску в десять рядов бросили 1024 дробины. Сколько из них попадут в крайний правый карман, и что об этом напишет газета?

Ответ. В среднем одна, шанс 1 на 1024. Газета напишет о секретах успеха этой дробины и о её стальном характере. Дробина согласится дать мастер-класс.