Прикольная статистика

Задача 2. Сосед бросил монету 100 раз на пиво и получил 60 орлов в свою пользу. Бить ли соседа?

Ответ. Центр 50, ширина корень из (100 · 1/4) = 5, то есть 60 отстоит на две ширины. Вероятность получить 60 и больше случайно около 2,8 %, один спор из тридцати пяти. Подозрительно, но на рукоприкладство не тянет. Предложите соседу бросить ещё сотню. Заодно проведёте вечер.

Задача 3. Рост новобранцев условно имеет среднее 176 и разброс 7 сантиметров. Сколько двухметровых на десять тысяч новобранцев?

Ответ. От 176 до 200 тут 3,4 разброса, по таблице колокола примерно трое. Если в вашей роте двухметровых весь правый фланг, колокол не виноват: вы попали в почётный караул, где отбирали.

Задача 4. В бутылке поллитра с разбросом 10 миллилитров. Петрович слил весь ящик из двадцати бутылок и намерил 9,8 литра вместо десяти. Случайно ли?

Ответ. Разброс суммы 10 · корень из 20 примерно 45 миллилитров, а недолив 200, почти 4,5 разброса. Шанс примерно 4 на миллион. Это уже не случай, а либо завод недоливает, либо Петрович успел приложиться по дороге к мерной кружке.

Задача 5. За последние сто заходов в баню среднее у Петровича 6,2 кружки вместо пяти, а он уверяет жену, что ничего не изменилось, а это так случайно вышло. Прав ли Петрович?

Ответ. Ширина 0,4, сдвиг 1,2, ровно три ширины. Шанс на такой случай около 0,13 %, один на 740. Жена права: в процессе появилась особая причина, по Шухарту. Скорее всего, приехал зять.

Глава 11. Суп пробуют ложкой

В новостях сообщают: по данным опроса, сорок семь процентов граждан страны считают то-то и то-то. Опрошено 1600 человек. Петрович отрывается от кружки и возмущается: в стране сто сорок миллионов, меня никто не спрашивал, соседа не спрашивали, и вообще никого никогда не спрашивали. Как можно по тысяче с чем-то судить о всей России? Это же один человек почти на девяносто тысяч!

Здравый смысл стоит на стороне Петровича и предлагает простой выход. Чем больше страна, тем больше надо спрашивать. Тысяча годится для района, а для России нужен миллион, а лучше два. Хороший опрос это большой опрос.

Предложим Петровичу задуматься о супе. Жена варит борщ. Чтобы узнать, хватает ли соли, она не съедает кастрюлю. Она пробует ложку. А в армейской столовой, где борщ варят в котле на триста литров, повар пробует такой же ложкой. Никто не требует от него пробовать ведром, хотя котёл в сто раз больше. Но и тот и другой перед этим делают одно и то же: мешают. В неперемешанном борще сверху жир, а внизу гуща. Зачерпните хоть ведром сверху, и вы точно узнаете, каков на вкус жир.

В этом борще содержится вся глава, и проверили его на масштабах целой страны. Осенью 1936 года американский журнал The Literary Digest зачерпнул поварёшком в два с лишним миллиона бюллетеней и предсказал победу республиканца Альфа Лэндона. Никому не известный молодой Джордж Гэллап зачерпнул более скромной ложкой, около пятидесяти тысяч человек, но помешанной гораздо лучше, и назвал победителем Франклина Рузвельта. Рузвельт получил 60,8 % голосов, взял все штаты, кроме двух, а журнал после этого протянул меньше двух лет.

Ложка и кастрюля

Каждый случайно выбранный человек отвечает «за» или «против», как монета падает орлом или решкой. Значит, доля «за» в выборке есть среднее, и для него у нас уже всё готово. Из девятой главы берём корень из n, из десятой колокол и две ширины, которые дают нам 95 процентов. Разброс одного ответа да-нет равен корню из p(1 - p).

Теперь посмотрите на эту формулу глазами Петровича. Где тут сто сорок миллионов? Нигде. Размера страны в ней нет вообще, как и размера котла в голове повара с ложкой. Тысяча случайных человек даёт погрешность около трёх процентов и в миллионном городе, и в стосорокамиллионной стране. Небольшая прибавка к точности набегает лишь тогда, когда выборка составляет заметную долю населения, как тысяча из пяти тысяч: получается 2,8 вместо 3,2. Привыкнуть к этому трудно, голова сопротивляется, но у борща всё точно так же.

Заодно понятно, почему социологи так любят числа в тысячу-две. Это не лень, а бухгалтерия. Переход от тысячи к десяти тысячам умножает расходы на десять, а точность повышает чуть больше чем втрое. А наши 1600 человек из новостей дают для сорока семи процентов точность плюс-минус два с половиной. Этим плюсом-минусом мы займёмся подробно в шестнадцатой главе.

У формулы есть одно маленькое условие, и оно то и дело ломает всё: выборка должна быть случайной. Случайной не в житейском смысле, когда кого встретил, того и спросил, а в строгом: у каждого жителя должен быть известный шанс попасть в ложку. Эту мысль пришлось долго пробивать. Статистики XIX века считали настоящим знанием только сплошной счёт. Норвежец Андерс Кьер, предлагавший пробовать ложкой, потратил на уговоры десятилетия. Англичанин Артур Боули в 1912 году показал на примере города Рединга, что это вообще возможно. А в 1934 году Ежи Нейман, учившийся в Харькове, убедил сообщество, что судить о точности можно только по случайной выборке, какой бы умной ни казалась тщательно подобранная вручную.

Теперь вернёмся к журналу и понюхаем его борщ. Редакция разослала около десяти миллионов бюллетеней, и брала адреса в телефонных книгах, списках владельцев автомобилей и среди своих читателей. Это в разгар Великой депрессии. Вернулось 2,4 миллиона. Лэндону обещали 57,1 процента, а он получил 36,5. По нашей формуле погрешность такого опроса несколько сотых процента, а ошибка больше двадцати. Тут работает другая статья расходов.

Разброс убирается деньгами, смещение деньгами не убирается. Журнал купил за большие деньги самый точный неправильный ответ в истории Америки.

Откуда же смещение? Во всех учебниках пишут: телефоны и автомобили были у богатых, а богатые голосовали за правого. История красивая, и она даже отчасти правда, но не вся правда. В мае 1937 года Гэллап сам расспросил людей, и современный разбор этих данных показал другое. Даже владельцы телефонов и автомобилей склонялись к Рузвельту: около 54 процентов. Если бы ответили все десять миллионов, Рузвельт набрал бы около 57 процентов и журнал назвал бы победителя верно. Главное случилось у почтового ящика. Бюллетени вернула примерно треть сторонников Лэндона и лишь пятая часть сторонников Рузвельта. Довольный человек сидит дома, а сердитый идёт покупать марку. Примерно две трети ошибки журнала пошли отсюда.

Что же делать, если люди не мешаются сами? Зачерпывать жребием, добиваться ответа и делить котёл на слои. Расслоение это когда берут отдельно из города и деревни, из мужчин и женщин, в тех долях, в каких они есть в стране, а недобранных потом довешивают весами. Это помогает, но только пока вы знаете, кто именно от вас убежал.

Когда ложка врёт

Борщ сам пришёл в ложку. Зрители присылают смс на короткий номер, читатели голосуют на сайте газеты, покупатели пишут отзывы. Измеряется не общественное мнение, а готовность потратить вечер. Классический пример дала Шер Хайт, уважаемый автор книг о любви и браке: она разослала сто тысяч анкет по женским обществам и получила 4500 ответов, то есть 4,5 %. Женщина, заполняющая длинную и очень личную анкету о своём браке, отличается от остальных девяноста пяти процентов как минимум этим самым. Формула погрешности к таким числам не применима вообще, и никакие проценты с десятыми долями не сделают её применимой.

Ложка не достаёт до дна. Есть люди, до которых трудно добраться совсем. Если вы звоните днём на домашний телефон, то узнаёте мнение бабушек. Если опрашиваете на улице, то не встретите ни лежачих больных, ни вахтовиков, ни просто тех, кто увидел вас издалека и перешёл на другую сторону. Так журнал не достал до тех, у кого в 1936 году не было ни телефона, ни автомобиля.

Повар выбирает кусочки получше. В 1948 году Гэллап, герой 1936 года, вместе с Роупером и Кроссли обещали победу Томасу Дьюи. У Гэллапа было 50 на 44, а Гарри Трумэн выиграл 50 на 45. Сохранилась знаменитая фотография, где сияющий Трумэн держит газету с заголовком «Дьюи победил Трумэна». Все трое пользовались квотами: интервьюер обязан опросить столько-то горожан, столько-то женщин, а кого именно, выбирает сам. Сам он выбирал тех, кого легче найти и с кем приятнее говорить, а это оказались республиканцы. Так герой тридцать шестого года наступил в тот же борщ. После этого случайный отбор перестал быть научной придиркой.

Котёл цифровой, борщ тот же. В 2021 году в журнале Nature сравнили оценки доли привитых от ковида американцев. Опрос через крупную соцсеть собирал около 250 тысяч ответов в неделю и завышал на 17 процентных пунктов по сравнению с данными службы здравоохранения. Скромный распланированный опрос на тысячу человек ошибался на 4,2. Авторы посчитали, что четверть миллиона таких ответов была не точнее случайной выборки из десяти человек. Десяти, не тысяч. Сообщайте это каждому владельцу больших данных, который обещает вам правду, потому что у него много строк.

Есть ещё два рода порчи борща, но они так важны, что им отведены следующие две главы: в ложку попадают только выжившие, и попавшие в ложку врут.

Где это применяют всерьёз

Вы живёте в мире, устроенном по ложкам. Безработицу не пересчитывают повально. Американская статистика каждый месяц опрашивает около шестидесяти тысяч домохозяйств, и этого хватает, чтобы увидеть сдвиг уровня безработицы на две десятых процента. По этой цифре потом двигаются биржи и центральные банки. У Росстата есть такое же обследование рабочей силы, а инфляцию считают по выборке товаров и магазинов. Обойти все магазины страны за месяц невозможно, да и бессмысленно.