Прикольная статистика

В мае 1924 года Уолтер Шухарт из американских Bell Labs написал начальству служебную записку с графиком. Мысль была простая. Любой станок делает детали чуть-чуть разными, и на каждую такую разницу бегать к наладчику не надо, только хуже сделаете. Другое дело, если деталь вышла за три стандартных отклонения: такое обычным шумом уже не объяснишь, тут пора искать причину. Эти границы на контрольной карте по сей день рисуют на заводах. Ступень мудрости начальника в том и состоит, чтобы отличать проблему от обычного дрожания жизни.

Той же меркой физики проверяют открытия. 4 июля 2012 года в Женеве объявили о находке бозона Хиггса на уровне пяти сигм, они же пять стандартных отклонений. Это означает: если частицы нет, такое или более сильное отклонение случайно выпадает примерно один раз из 3,5 миллиона. Обратите внимание на формулировку. Это не вероятность того, что бозона нет, на этом спотыкались тогда многие газеты. К этой тонкости мы ещё вернёмся, когда будем разбирать даму с чаем.

z-оценка пригодилась и литературоведам. Любой автор оставляет отпечатки в самых частых словах, всяких «и», «не» и «в», которые сознательно не контролирует. Но частоты у этих слов сильно разные, и просто складывать разницы нельзя. В 2002 году Джон Берроуз опубликовал метод, названный дельтой: частоту каждого слова переводят в z-оценки, а уже потом сравнивают тексты. Пушкин и какой-нибудь графоман становятся подсудимыми той же формулы, что Петрович. Подробнее об этом в главе об авторстве.

Задачи

1. На ком жениться. Первый жених за четыре месяца приносит домой 50, 50, 50 и 50 тысяч. Второй 0, 0, 0 и 200 тысяч. Найдите среднее и стандартное отклонение у обоих.

Ответ: среднее у обоих 50. Отклонение у первого 0, у второго корень из 7500, то есть около 87 тысяч. Первый скучен, у второго душа шире ведомости. Статистика на обоих только указывает, а решать придётся вам.

2. Заяц в среднем убит. Два охотника стреляют по зайцу. Один промахнулся на метр влево, другой на метр вправо. Найдите среднее отклонение и стандартное отклонение.

Ответ: среднее 0, заяц убит точно в центр. Стандартное отклонение 1 метр, заяц убежал. На ужин в среднем жаркое.

3. Брод статистика. Глубина реки в пяти точках: 0,1, 0,2, 0,3, 0,4 и 4 метра. Найдите среднюю глубину и стандартное отклонение. Может ли статистик ростом 170 сантиметров спокойно перейти брод?

Ответ: средняя глубина 1 метр, отклонение около 1,5 метра. Если статистик посмотрел только на среднее, его труды выйдут посмертно.

4. Кто страннее. Вася съел 30 пельменей при среднем 20 и отклонении 5. Петя выпил 7 кружек при среднем 4 и отклонении 1. Кто сильнее выбился из коллектива?

Ответ: у Васи z = (30 - 20) : 5 = 2, у Пети z = (7 - 4) : 1 = 3. Петя страннее, хотя разница у него всего три кружки. Десять пельменей сверху тут никого бы не удивили.

5. Ждун. Автобусы приходят поочерёдно через 10 и через 30 минут. Вы приходите наугад. Как долго ждать в среднем? Подсказка: в длинный промежуток вы попадёте втрое чаще, чем в короткий.

Ответ: 3/4 · 15 + 1/4 · 5 = 12,5 минуты, хотя при ровном интервале в 20 минут вы ждали бы 10. Начальник автопарка может не беспокоиться, в его отчёте оба расписания дают ровно 20.

Глава 4. Портрет толпы

На плац вывели сотню новобранцев, и старшине надо выписать на них обмундирование. Из прошлых глав он уже знает: средний рост 176, стандартное отклонение 7. Полезные цифры, только штаны по ним всё равно не закажешь. Сколько нужно штанов на длинных, сколько на коротких? Два числа об этом молчат. В прошлой главе мы уже видели, что толпы с одинаковым средним и одинаковым разбросом могут быть устроены совершенно по-разному.

Получить всё сразу можно, только если посмотреть на толпу целиком. Только таблицу из ста фамилий глаз не воспринимает, а из миллиона тем более.

Здравому смыслу старшины никакой математики не нужно. Он закричит: те, кто ниже 165, стройсь у первого столба! От 165 до 170 у второго! И так далее, в затылок. Через минуту на плацу видно несколько колонн разной длины. Самой длинной окажется какая-нибудь средняя, а по краям будут торчать по два-три оригинала. Старшина только что построил гистограмму из живых людей, и от статистика его отличает только то, что он при этом матерится.

Столбики и колокол

Перенесём плац на бумагу. Разобьём рост на промежутки по пять сантиметров, над каждым поставим столбик высотой в число людей. Это и есть гистограмма. Слово ввёл в лекциях 1892 года, как вы могли догадаться, Карл Пирсон. Расчёт к ней нужен ровно один: сколько людей попало в столбик и какую долю от всех это составляет.

Теперь старшина может заказывать. Размер на рост 175–180 носят 30% бойцов, значит, на тысячу возьмём 300 штанов. А ещё по картинке видно то, чего никаким числом не скажешь: горб один, справа и слева он пологий примерно одинаково, и никакого директора на дальнем конце не притаилось. Старшина наш придуман, но приём настоящий. В 1914 году ботаник и генетик Альберт Блейксли выстроил по росту 175 студентов и сфотографировал их. Так появилась знаменитая живая гистограмма в студенческих пиджаках.

Постройте такую гистограмму не для ста человек, а для миллиона, да сделайте столбики поуже, и ступеньки сгладятся в плавную кривую, похожую на колокол. Называется она нормальным распределением. Откуда она берётся, расскажет десятая глава, а пока хватит практического правила. Зная два числа из прошлых глав, можно сразу сказать, сколько народу где стоит.

Примерно 68% людей лежит в одном стандартном отклонении от среднего, 95% в двух, 99,7% в трёх. Значит, дылда на 190 сантиметров из прошлой главы уже стоит на границе двух отклонений: выше него только около 2,5% толпы. Старшина может не заказывать длинных штанов вагонами.

У самого колокола на картинке вы видите формулу, пугаться которой не нужно, считать по ней вручную никто не будет. Вся она держится на тех же двух числах, среднем и стандартном отклонении. Рассмешить может другое: туда пролезло число пи. Нобелевский лауреат Юджин Вигнер начал с этого знаменитую статью о непостижимой эффективности математики. Статистик показывает однокласснику работу о населении, одноклассник тычет пальцем в знак пи и слышит: это отношение длины окружности к диаметру. Тот решает, что его разыгрывают: население тут ведь ни при чём окружность. Тем не менее она тут. В штанах старшины тоже.

Как картинка вводит в заблуждение

Ширина столбиков. Гистограмма выглядит объективной, но размер промежутка выбирает человек. Возьмём тех же новобранцев и сделаем два широких столбика: от 160 до 180 и от 180 до 200. Выйдет 75 и 25 человек, обрыв вместо колокола. Или возьмём столбики по одному сантиметру, и получим случайную расчёску. Данные при этом одни, никто не соврал, а форма разная. Полезная привычка: увидели график с подозрительно удобной формой, спросите, какой ширины столбики и кто их резал.

Один горб ещё ничего не доказывает. Казалось бы, если смешать в одной толпе мужчин и женщин, у гистограммы роста вырастет два горба, как у верблюда. Такой пример кочует по учебникам. В 2002 году три американских автора решили это проверить и выяснили, что второго горба нет. Для него средние должны расходиться больше чем на два стандартных отклонения, а у людей не дотягивает. Возьмём условно мужчин 176 и женщин 163 при отклонении 7: разница 13, нужно больше 14. Выходит один полный горб. Так что толпа может быть очевидной смесью, а гистограмма смолчит. О половой принадлежности среднего человека из первой главы мы уже немного знаем.

Колокол не везде. Правило 68–95–99,7 годится только для колокола. Пусть у вас средняя зарплата 100 тысяч с отклонением 100 тысяч. По правилу выходит, что шестая часть зарплат отрицательная, даже если такое и бывает, то не в таких количествах. Зарплаты, тиражи и частоты слов колоколом не звонят вообще, и следующая глава целиком про это.

Как гистограмма работает в настоящей науке

Самое ценное в гистограмме то, что она умеет ловить жуликов, даже когда никто из них не попался. Одним из первых этим приёмом воспользовался наш знакомый Кетле. Он взял данные о росте французских новобранцев. В службу брали от 62 дюймов, то есть примерно от 157 сантиметров. Колокол был хорош, но как раз у этой отметки в нём зияла прореха: чуть выше людей подозрительно мало, чуть ниже подозрительно много. Такой формы природа сама не делает. Кетле заключил, что часть молодых французов на замере чудесным образом уменьшалась в росте. То ли сутулились, то ли проставлялись замерщику, этого уже не узнать. Зато учёный вывел их на чистую воду, не зная ни одной фамилии.

Прошло больше века, и метод сработал там же. В 2011 году блог Freakonomics показал гистограмму баллов польского выпускного экзамена по родному языку. Проходной балл там около 21. Именно в этом месте кривая проваливается и взлетает пиком. Проверяющие здесь, похоже, притягивали бедолаг за уши к тройке. Притом никто не листал работы. Это уже целый жанр: статистик не видит нарушителей, он видит вмятину на кривой.

А настоящая польза ближе к вам, чем кажется. Возьмите бланк из лаборатории с графой «норма». Эта графа обычно строится так: обследуют здоровых людей и берут серединные 95% их значений. Значит, 5% здоровых людей выходят за норму по определению. Это не ошибка и не болезнь, а так проведена граница. Теперь сдайте двадцать анализов. Если считать их независимыми (на деле они связаны, поэтому это оценка), то все двадцать в норме окажутся с вероятностью 0,95 в двадцатой степени, примерно 36%. Значит, в 64% случаев совершенно здоровый человек получит хотя бы один показатель с пометкой «вне нормы». Старая врачебная шутка о том, что здоровый человек это недообследованный больной, имеет строгую математическую основу. Поэтому с одной пометкой идут к врачу, а не к нотариусу: он смотрит на картину целиком.

Рассматривать толпу целиком только на вид просто. Статистики говорят: прежде чем посчитать любое среднее, постройте гистограмму. Это та же старшина на плацу, только без мата и с учёной степенью.

Задачи

1. Столбики из пельменей. На свадьбе 50 гостей. От 0 до 9 пельменей съели 5 человек, от 10 до 19 съели 20, от 20 до 29 съели 15, от 30 до 39 съели 10. Какая доля гостей в самом высоком столбике? Какая доля съела 30 и больше?

Ответ: 20 : 50 = 40% и 10 : 50 = 20%. Эти 20% обычно и сидят ближе к кухне.

2. Жених выбирает невесту. Рост женщин условно подчиняется колоколу со средним 165 и отклонением 6 сантиметров. Какая доля женщин лежит между 159 и 171? Какая выше 177?

Ответ: примерно 68%, это одно отклонение в каждую сторону. Выше 177 около 2,5%, это уже два отклонения. Придётся жениху расти самому.

3. Здоровый больной. Здоровый человек сдал пять независимых анализов, где в норму входят 95% здоровых. С какой вероятностью хоть один выйдет за норму?

Ответ: все пять в норме с вероятностью 0,95 в пятой степени, то есть около 77%. Значит, примерно 23%. С каждым новым анализом здоровье тает, хотя человек тот же.

4. Верблюд. В посёлке 50 шахтёров получают по 100 тысяч и 50 учителей по 30 тысяч. Найдите среднюю зарплату. Как выглядит гистограмма?

Ответ: среднее 65 тысяч. Гистограмма из двух столбиков по краям и пустоты посередине. На месте среднего там никого нет, учителя и шахтёры на нём не встречаются.

5. Вмятина на шкале. На школьном экзамене с порогом 30 баллов ученики набрали так: 28 баллов у четырёх, 29 у одного, 30 у двадцати шести, 31 у пятерых, 32 у четырёх. Сколько человек на отметке 30, похоже, попали туда не своим умом?

Ответ: у соседних отметок по 4–5 человек, так что лишних около двадцати. Что такое материнский инстинкт учителя, гистограмма не знает, она видит только столбик.

Глава 5. Один бестселлер и тысяча книг без читателей

Молодой автор приходит в издательство и спрашивает, сколько в среднем продаёт книга. Редактор берёт калькулятор: тысяча названий в каталоге, чуть больше 700 тысяч проданных экземпляров, стало быть, примерно по 750 на книгу. Автор радуется и бежит покупать новую ручку. Через год в отчёте у него стоит 200, и он обижается на читателя, жену и министерство культуры. Редактор при этом не соврал, а автор оказался на самом деле очень и очень типичным.

Здравый смысл тут подводит. Он насмотрелся на новобранцев из прошлой главы и думает, что мир устроен так же: большинство около среднего, герои и неудачники по краям. Для роста это верно. Самый высокий человек в истории примерно в полтора раза выше среднего. А теперь представьте колонну новобранцев, в которой последний боец достаёт головой до луны. С книгами, деньгами и словами дело обстоит именно так. Такую колонну старшине в строй не поставить, тут нужна другая картинка.

Закон для стенографистов

Расставим нашу условную тысячу книг по продажам, от первой до последней. Пусть первая продала 100 тысяч, вторая вдвое меньше, третья втрое, десятая в десять раз. Такая зависимость называется законом Ципфа, и в ней помещается вся несправедливость литературного процесса.

Буква r здесь занимаемое место, C продажи первого места. Теперь смотрим, что вышло. Всего продано около 750 тысяч книг. Первое место забрало 13%, первая десятка 39%, первая сотня 69%. Первые 200 книг, то есть 20% каталога, держат 79% продаж. А нижняя половина каталога добирает 9% на всех пятьсот. Средние продажи составляют 750 экземпляров, медиана 200. Так мы и получили нашего обиженного автора.

Закон придумали вовсе не для книг и не статистики. Его заметили в словах. В 1916 году французский стенографист Жан-Батист Эсту считал частоты слов, чтобы улучшить стенографию, и увидел эту закономерность. В 1930-х её рассмотрел и прославил американский лингвист Джордж Ципф, который честно признавался, что открытие не его. Это его не спасло: закон всё равно назвали в его честь. Проверим на большом английском корпусе Брауна, в миллион слов. Самое частое слово the встречается 69 971 раз, второе, of, 36 411 раз, третье, and, 28 852 раза. Закон обещает примерно 35 и 23 тысячи. Не точно, но для шаманской формулы из одной дроби прилично. А половину всего корпуса составляют всего 135 слов. Выходит, что в языке царит тот же дикий капитализм, что и на книжном рынке. Предлоги и союзы жируют, а слово «палимпсест» за всю жизнь не зарабатывает на компот.

Теперь главное. В прошлой главе колокол у краёв обрывался почти мгновенно: такие края зовут лёгкими хвостами. Здесь всё иначе. Ведь что такое выброс для колокола? Беда и позор. А для книг выброс это и есть вся история. Такие края называются тяжёлыми хвостами.

Разницу между ними трудно преувеличить. Возьмём тысячу человек в зале со средним ростом 176 и приведём самого высокого человека в истории, ростом около 272 сантиметров. Среднее подрастёт на 0,1 сантиметра. Теперь пусть у каждого в зале по миллиону рублей, и приведём человека со 100 миллиардами. Среднее подскочит с миллиона примерно до 101 миллиона. При колоколе один человек ничего не решает. В тяжёлом хвосте один человек может оказаться важнее всего зала. Нассим Талеб в книге о чёрном лебеде назвал эти два мира Среднестаном и Крайнестаном, и разные вопросы там решаются по-разному.

Где закон даёт осечку

Не всё на свете Ципф. Формула так красива, что её находили везде, где график спускается похожим образом. В 2009 году Аарон Клаусет с коллегами взял 24 набора данных, про которые говорили, что они подчиняются степенному закону, и проверил их строгими методами. Хорошо сошёлся один набор, частоты слов, ещё 10 с оговорками. Ещё 10 лучше описывались степенным законом с обрезанным концом, а три не подошли вообще. Причём среди этих трёх оказалось богатство, главный пример почти во всех рассказах о тяжёлых хвостах.

Российские города. В учебниках ципфовский закон любят показывать на городах. Попробуем дома. На начало 2025 года в Москве 13,3 миллиона человек. Закон обещает на втором месте 6,6 миллиона, и Петербург с 5,7 ещё как-то справляется. На третьем месте должно быть 4,4 миллиона. Новосибирск даёт 1,6. На четвёртом должно быть 3,3, а Екатеринбург даёт 1,5. Либо между Петербургом и Новосибирском потерялись три города-миллионера, либо у нас свои законы географии, что вообще-то не новость.

Вирусная цифра. Тяжёлые хвосты так удивительны, что в любую дикость про них верят сразу. После антимонопольного суда над крупными американскими издателями по сети разошлось: 50% книг продают меньше дюжины экземпляров. Писатели рыдали и пересылали это друг другу. Затем Кристен Маклин из BookScan попробовала получить такую цифру на настоящих данных и не смогла. По её подсчёту для новинок десятки крупнейших издателей меньше дюжины продаёт 14,7% книг, а меньше тысячи 51,4%. Хвост там тот же, только цифра не та была совсем. Писатели не прекратили рыдать, но перешли на более достоверную цифру.

Среднее без дна. При колоколе выборка быстро даёт надёжное среднее. При тяжёлом хвосте ответ зависит от того, попался ли в неё гигант. Не попался, и вы уверены, что книги продаются плохо. Попался, и среднее подскочило вдесятеро. А при альфа не больше 1, как в нашей картинке, среднего не существует даже теоретически: оно уходит в бесконечность, и всякий новый миллиардер его подталкивает. Таким толпам первые три главы этой книги не помощники.

Как тяжёлые хвосты работают в настоящей науке

Итальянец Вильфредо Парето заметил, что около 80% земли в Италии принадлежит примерно 20% населения. В 1941 году специалист по качеству Джозеф Джуран увидел ту же картину в браке на производстве: большая часть сбоев идёт от небольшого числа причин. Так возникло правило 80/20, которое сегодня продают на тренингах за большие деньги. Заметьте, наша формула из одной дроби на тысяче книг сама дала 79% на 20%. Само число 80 тут священного смысла не имеет, но идея дельная. Когда хвост тяжёлый, лечить надо не среднего, а самого толстого.

Хвосты пригодились и дома, в филологии, откуда всё началось. Раз 135 слов дают половину английского текста, то не все слова нужно учить с одинаковым рвением. На частотных словарях стоят учебники иностранного, стенография и поиск в сети. Зато слова из дальнего конца хвоста создают смысл и проблемы для переводчиков. Всё, как в жизни: работают одни, а интересны другие.

А теперь вернёмся к обиженному автору. У него остался главный вопрос: бестселлер лучше его книги или просто удачливее? Это удалось проверить опытом. В 2006 году в журнале Science вышла работа Мэттью Салганика, Питера Доддса и Дункана Уоттса. Их 14 341 участник слушали и скачивали 48 песен неизвестных групп. Часть участников не знала чужих оценок. Остальных разбили на восемь параллельных миров, где видно было, что уже скачали другие в этом же мире. Песни везде одни и те же, старт одинаковый. Результат для писателя одновременно утешителен и ужасен. Чужое мнение усилило неравенство и сделало успех непредсказуемым: одна и та же песня в разных мирах жила совсем по-разному. Качество кое-что решало: лучшие песни редко проваливались, худшие редко взлетали. Но всё остальное могло случиться.

Так что напишите хорошую книгу, она повышает шансы. Бестселлера она не обещает, а если он случится у соседа, сосед вряд ли намного гениальнее вас. Это честное утешение, и за него статистику можно любить.

На этом заканчивается первая часть. Мы научились описывать толпу, где её середина, как широко она расселась, какой формы у неё горб и что тащится за ней хвостом. Нас ни разу не затронул вопрос, откуда она такая взялась. Для этого нужен случай.

Задачи

1. Лестница славы. По закону Ципфа первая книга продала 60 тысяч. Сколько продала третья, шестая? На каком месте стоит книга со 100 проданными экземплярами?

Ответ: 20 тысяч, 10 тысяч, на 600-м месте. Тем, кто на 600-м, найти некому благодарность, кроме мамы.

2. Клуб авторов. Девять авторов продали по 100 книг, десятый 99 100. Найдите среднее и медиану. Что напишут в рекламе клуба?

Ответ: среднее 100 000 : 10 = 10 тысяч, медиана 100. В рекламе напишут про средний тираж в десять тысяч. Девять членов клуба будут кивать, потому что им взносы платить.

3. Слова по себестоимости. В условном языке самое частое слово занимает 4% текста. Сколько раз в книге из 50 тысяч слов встретится первое и десятое по частоте слово?

Ответ: первое 2000 раз, десятое 200 раз. Слово «палимпсест» встретится один раз, да и то если автор захочет произвести впечатление.

4. Таблица удвоений. Берём тяжёлый хвост с альфа = 1 и порогом в 1000 продаж. Какая доля книг продаёт 5000 и больше? А 100 тысяч?

Ответ: 1000 : 5000 = 20%, 1000 : 100 000 = 1%. У новобранца шанс быть в сто раз выше среднего равен нулю. На книжном рынке один процент. Вот почему писатели всё ещё пишут.

5. Ципф едет по России. В Москве 13,3 миллиона жителей. Сколько должно жить в пятом по величине городе по закону? На начало 2025 года пятое место занимает Казань с 1,33 миллиона. Во сколько раз она не дотягивает?

Ответ: 13,3 : 5 = 2,66 миллиона, Казань меньше вдвое. Претензии направляйте Ципфу, а не Казани.

Глава 6. Дождь с вероятностью 70% и двое с одним днём рождения

Синоптик обещает дождь с вероятностью 70%. Вы берёте зонт, целый день таскаете его по жаре, дождя нет, и вечером вы материте синоптика словами, которых нет в словаре. В полной мере заслуженно? А что, собственно, он обещал? Что дождь пойдёт 70% времени? Что намокнет 70% города? Что семь синоптиков из десяти за дождь, а трое против? Или он просто немного уверен?

Здравый смысл и тут подсказывает неплохой ответ, если спросить его вежливо. Соберите дни, про которые синоптик говорил «70%», и посчитайте. Если из десяти таких дней дождь был в семи, прогноз честен. И три сухих дня с зонтом в руке входили в цену. Синоптик, обещавший 70%, не врёт, когда дождя нет. Он врёт, если дождь бывает каждый раз или раз в месяц. Потому проверить его можно только на серии дней. Один день ничего не доказывает и ничего не опровергает.

Именно здесь лежит пропасть между толпой из первой части книги и тем, что нас ждёт дальше. Толпа уже собрана, её можно посчитать. Завтрашний дождь ещё не случился, и про него приходится говорить уже на другом языке. Язык этот называется теорией вероятностей, и нам нужен его минимум, примерно на уровне «где тут туалет». Родился он, кстати, в игорном притоне: им занялись Паскаль и Ферма, когда разбирали задачу о дележе ставки в прерванной игре. Так что у науки вполне криминальное происхождение.

Три смысла одного числа

Вероятность обозначается буквой P и лежит между нулём и единицей. Ноль значит «не бывает», единица «обязательно». Строго говоря, математике всё равно, что она значит, лишь бы складывалась по правилам. А вот люди спорят до сих пор, и толкований здесь по меньшей мере три.

Первое толкование для игр. У кубика шесть граней, все равноправные, значит, на шестёрку приходится 1/6. Второе для повторяющихся случаев, им пользуется наш синоптик: просто доля таких дней среди похожих. Третье для случаев, которые не повторяются: «издатель возьмёт мою рукопись с вероятностью 10%». Серии тут нет, тут мера вашей уверенности. Первые два смысла укладываются в одну дробь, а третий мы оставим на следующую главу.

Путаница тут не выдумана. В 2005 году Герд Гигеренцер с коллегами опросил прохожих в Амстердаме, Афинах, Берлине, Милане и Нью-Йорке, что значит «вероятность дождя 30%». Законный метеорологический ответ, три дня из десяти похожих, выбрало большинство только в Нью-Йорке. Европейцы чаще считали, что дождь будет идти 30% времени или над 30% города, и все оставались при своём, в том числе в мокрых штанах. Вывод авторов полезен всем, кто слышит проценты: всегда спрашивайте «процент от чего».