Наука под вопросом. Философия науки XXI века

Строгая проверка. Самая основательная альтернатива пришла со стороны, которая вообще не желает приписывать гипотезам вероятности. Американский философ Дебора Мейо в книге «Ошибка и рост экспериментального знания» (1996), а затем в большой книге о статистических спорах (2018), предлагает переформулировать сам вопрос. Важно не то, насколько мы уверены в гипотезе, а то, насколько тщательно её проверили. Свидетельство подтверждает гипотезу, если она выдержала строгую проверку: такую, что при ложной гипотезе эта процедура с большой вероятностью дала бы результат, хуже с ней согласующийся. В основе лежат всё те же частоты, но вычисляются они не для гипотез, а для процедур. Какова надёжность этого способа проверки, как часто он обманывает?

Одно из заглавий Мейо передаёт суть различия: высоковероятная гипотеза и хорошо проверенная гипотеза не одно и то же. Гипотеза может быть очень вероятной, потому что в неё сильно верили заранее, и при этом никто и никогда её по-настоящему не пытался опровергнуть. В такой картине Поппер слышится отчётливее, чем Байес. Самое чувствительное место здесь следующее. Многие байесианцы принимают так называемый принцип правдоподобия: всё, что данные говорят о гипотезе, содержится в их правдоподобии, а какими были намерения экспериментатора, например, когда он решил бы прекратить набор данных, значения не имеет. Мейо настаивает, что это катастрофа. Если исследователь проверяет результат после каждого нового участника и останавливается, как только значение стало удачным, то при частотном подходе он обязан это учесть, поскольку у такой процедуры высока вероятность обмануть. А правдоподобию самих данных до этого нет дела. Байесианцы отвечают, что подобные процедуры надо учитывать в модели, а не в философии, и что априорная вероятность автоматически защищает от случайной удачи. Этот спор далеко не окончен, и он станет главной темой второй главы, где выяснится, что вопрос о том, каким путём были получены данные, стоит очень дорого. Заметим только, что с Мейо не вполне соглашаются и сами частотники. Но проделанная ею работа сильно мешает всем, кто считает, что вопрос можно решить одной формулой.

Вопрос о причине. Наконец, самое неожиданное возражение исходит от человека, который в 1980-е годы внёс едва ли не наибольший вклад в практические успехи байесианства, то есть от Перла. Он создал байесовские сети, позволившие считать по этой формуле задачи с тысячами переменных, и потом сам назвал себя отступником. Вероятности, заметил он, описывают только то, что мы видим, и не различают, что чем вызвано. Распределение вероятностей одинаково хорошо записывается и так, что огонь повышает вероятность дыма, и так, что дым повышает вероятность огня. Но зажечь огонь — способ получить дым, а напустить дыма в комнату не значит её поджечь. Более того, выводы о причинах не становятся менее субъективными с ростом данных, тогда как априорные вероятности со временем смываются. Если Перл прав, то байесианство, каким бы совершенным оно ни было, неспособно выразить главное, что нас интересует в науке. Об этом третья глава.

И последнее замечание. Психологи Даниэль Канеман и Амос Тверски показали, что живые люди не считают по Байесу, и пример с маммограммой это хорошо подтверждает. Обычно это не возражение, ведь теория говорит, как нужно рассуждать, а не как рассуждают. Но у этого ответа есть обратная сторона. Учёные тоже не приписывают числа своим гипотезам и вряд ли смогли бы это сделать, если их спросить о вероятности общей теории относительности. Ещё Годфри-Смит замечает, что наука, возможно, сильна не потому, что в голове каждого учёного работает маленький правильный вычислитель, а потому, что определённые процедуры и определённое устройство сообщества заставляют идеи соприкасаться с наблюдением. Может быть, байесианство прекрасно описывает, как должна рассуждать идеальная одинокая голова. Но наука — не одинокая голова. Вопросу о том, что такое коллективная рациональность, и о том, можно ли ей доверять, посвящена двенадцатая глава.

Итог и вопрос читателю

Что же остаётся от байесовской революции после всех возражений? Остаётся довольно много, но не то, что обещали её самые восторженные сторонники.

Решением проблемы индукции байесианство не стало. Юм мог бы прочесть все теоремы о схождении и спокойно спросить, откуда известно, что мир и завтра будет выдавать те же правдоподобия. Не стало оно и готовым критерием науки: формула равно служит и астроному, и последовательному астрологу, если только оба согласны в своих числах. Но оно дало нечто другое, и притом очень полезное: общий язык, на котором видно, где именно спрятано допущение. Когда двое расходятся в выводах из одних данных, теперь можно спросить, в чём они расходятся: в исходной уверенности, в оценке того, что должно было наблюдаться при каждой из возможностей, или просто в арифметике. Спор о свидетельстве становится разбором конкретных чисел. Часть прежних загадок при этом исчезает, а оставшиеся получают точный адрес.

Немаловажно и то, чего эта теория не требует. Де Финетти и Рамсей показали, что можно говорить о рациональной уверенности, не утверждая ничего о природе вещей. Степени доверия не отражают мира как зеркало. Это способ согласовывать ожидания и проверять их на дальнейшем опыте. Перейдёт ли это в более общую точку зрения на науку, мы увидим значительно позже.

А самый практичный её вклад понятен и без формул. Спрашивай не только о том, ожидается ли этот факт при твоей любимой гипотезе, но и о том, ожидался бы он, если гипотеза ложна. Считай независимых свидетелей, а не громкость голосов. Помни об исходной частоте. И не присваивай ничему вероятность единицы, если речь идёт о мире. Этих четырёх правил хватает, чтобы защититься от большинства экстрасенсов, рекламных роликов и половины новостей, а заодно они довольно неприятно действуют на собственные любимые мнения.

Однако теория оставила нерешённым вопрос, ради которого мы начали этот том. Она говорит, как менять уверенность при поступлении данных, если эти данные получены честно и обозначены полностью. Но что если сама процедура получения данных устроена так, что систематически выдаёт ложные удачи? Если публикуется только то, что вышло, а опыты с отрицательным результатом лежат в столе? Тогда самый дисциплинированный байесианец будет исправно обновлять свои оценки по искажённой выборке, хотя никто сознательно ничего не искажал. К этому мы и переходим.

Вопрос читателю. Назовите убеждение, в котором вы уверены почти полностью: о своём здоровье, о близком человеке, о том, как устроено общество и кто в нём виноват. Какое конкретное наблюдение снизило бы вашу уверенность хотя бы вдвое? Попробуйте описать его так, чтобы другой человек мог сказать, случилось оно или нет. Если такого наблюдения придумать не удаётся, то данные здесь уже ничего не решают, и стоит честно признаться себе, почему вы держитесь за это убеждение.

Глава 2. Кризис воспроизводимости

Предвидение в ведущем журнале

В 2011 году в «Журнале личности и социальной психологии», одном из самых уважаемых изданий своей области, появилась статья под названием «Чувствуя будущее». Её автор, почётный профессор Корнеллского университета Дэрил Бем, был известен не как маргинал, а как один из видных социальных психологов своего поколения, создатель теории, которую до сих пор излагают в учебниках. Статья сообщала о девяти опытах с участием более тысячи студентов. В восьми из девяти получен статистически значимый результат. Вывод: люди способны, пусть слабо и бессознательно, предчувствовать будущие события.

Устройство опытов было остроумным. Бем брал хорошо изученные психологические эффекты и переворачивал их во времени. Всем известно, что слова, которые человек повторял, он запоминает лучше. В девятом опыте участникам показывали список слов и просили вспомнить как можно больше. А уже потом программа случайным образом отбирала часть слов и заставляла их выписывать. И оказалось, что участники лучше вспоминали те слова, которые им только предстояло повторять. Упражнение как будто действовало на память в обратном направлении. В другом опыте студент угадывал, за какой из двух занавесок на экране спрятана картинка, причём компьютер выбирал место уже после ответа. Для картинок эротического содержания угадывание превышало случайный уровень.

На следующий день заголовки сообщали то, чего всегда ждали потомственные ясновидящие: наука признала. Передачи о людях со сверхспособностями могли бы показывать страницы журнала прямо в заставке. Вот журнал, вот рецензенты, вот значимость. Чего ещё вы хотели от нас, господа скептики, все эти годы?

Редакторы журнала прекрасно понимали, что печатают. Они сопроводили статью комментарием, в котором отметили, что их собственные убеждения тут ни при чём. Работа соответствовала принятым в дисциплине требованиям и прошла обычное рецензирование, а значит, отказывать ей только за неправдоподобность вывода было бы неправильно. Вот это, собственно, и есть центральный момент всей истории. Если бы Бем нарушил правила, его можно было бы поймать и забыть. Но он их соблюдал.

Дальше события приняли характер притчи. Бем, к его чести, сам призвал других повторить опыты и предоставил все материалы. Трое британских исследователей, Стюарт Ричи, Ричард Уайзман и Кристофер Френч, откликнулись на призыв. Они трижды независимо повторили девятый опыт, тот самый, что дал наибольший эффект, заранее зарегистрировав свой план. Ничего не вышло, память упрямо не желала работать в обратную сторону. Статью они послали в тот же самый журнал. И журнал отказал, даже не отправив её на рецензию. Отказ, как потом рассказывали авторы, объяснялся простым правилом: журнал не печатает повторений, ни удачных, ни неудачных.

Теперь посмотрим на положение дел в целом. Ведущий журнал охотно печатает поразительное открытие и отказывается напечатать проверку, потому что проверка не является новостью. Правила устроены так, что поразительный результат проходит, а его опровержение нет. Журналу, разумеется, никто не хотел зла. Он следовал своим правилам, и те казались разумными: журналы хотят нового, читатели хотят нового, повторять чужое скучно. Статья Ричи и его коллег вышла в итоге в другом журнале, открытого доступа. Позже и этот журнал смягчился: в 2012 году он всё-таки напечатал работу Джонатана Галака и его соавторов, которые провели семь повторений с участием 3289 человек, втрое больше, чем было у Бема, и не нашли ничего.

Читатель, вероятно, догадывается, что заявленным результатам Бема мало кто поверил. Но именно здесь и возникает настоящая трудность. Психологи читали статью и говорили, что выводу они не верят. А на вопрос, что же в ней не так, отвечать приходилось с большим трудом. Методы те же самые. Статистика та же самая. Значимость та же самая. Точно такими же способами получены тысячи работ о том, как влияет на поведение цвет стены, поза, название продукта, недавно прочитанное слово. Если этот инструмент подтвердил ясновидение, то возможны только два вывода. Либо ясновидение существует, либо инструмент способен подтвердить то, чего нет. А тогда как быть со всем остальным, что им подтверждено?

В этом смысле Бем оказал психологии услугу, о которой не просил и на которую, вероятно, не рассчитывал. Неправдоподобность его вывода сработала как контрольный опыт. Обычно исследователь не знает заранее правильного ответа и поэтому не может проверить прибор. А здесь большинство было уверено в ответе заранее, и прибор выдал другой. Как мы говорили в первой главе, неожиданное весит больше. В этом случае неожиданным оказалось поведение самой дисциплины. Именно 2011 год принято считать началом того, что потом назовут кризисом воспроизводимости. Через четыре года вышла та самая работа Носека о сотне повторённых опытов, с которой началось введение к этому тому. Теперь посмотрим, что за этими цифрами стоит.

Что означает «значимо»

Почти весь обсуждаемый здесь спор вращается вокруг одного слова, которое в обычной речи значит одно, а в статистике другое. Когда журналист пишет, что результат значимый, читатель понимает: важный, серьёзный, достоверный. Статистик имеет в виду нечто гораздо более скромное и странное. Мы видели в первой главе, что статистические методы, вошедшие в обиход в XX веке, отвечают на вопрос, поставленный в определённом направлении. Теперь разберём его подробнее.

Уже знакомый нам Рональд Фишер предложил такую процедуру. Возьмём «нулевую гипотезу», утверждение, что никакого эффекта нет: лекарство не действует, удобрение бесполезно, эротические картинки не предчувствуются. Предположим, что она верна, и посчитаем, насколько вероятно при этом получить такие данные или ещё более резкие. Это число называется p-значением. Если оно очень мало, значит, либо случилось редкое совпадение, либо нулевая гипотеза ошибочна. Фишер считал такое число мерой того, насколько данные удивляют нас при отсутствии эффекта, предлагал порог в одну двадцатую как удобный ориентир и настаивал, что единичный опыт ничего не решает: явление установлено, когда мы знаем, как поставить опыт, который будет редко подводить.

Ежи Нейман и Эгон Пирсон подходили к делу иначе. Их интересовало не удивление, а решение. Нужно установить заранее правило, которое при длительном применении будет редко ошибаться двумя способами: объявлять эффект там, где его нет (ошибка первого рода), и не замечать его там, где он есть (ошибка второго рода). Вероятность заметить настоящий эффект назвали мощностью критерия. Отдельный опыт в этой картине не несёт никакой степени доказательства, важны только долгосрочные свойства процедуры, как у контролёра на заводе. Фишер и Нейман враждовали десятилетиями и не сходились почти ни в чём.

А затем случилось то, что может оценить любой лингвист, знакомый с историей смешения языков. Авторы учебников для психологов и биологов, которым нужна была простая инструкция, взяли от Фишера нулевую гипотезу и p-значение, от Неймана и Пирсона жёсткий порог и формулировку решения и соединили всё это в одну процедуру. Ни Фишер, ни Нейман такой процедуры не предлагали и вряд ли бы её одобрили. Немецкий психолог Герд Гигеренцер назвал её гибридом и сравнил с ритуалом. Выглядит он примерно так: придумай нулевую гипотезу об отсутствии всякого эффекта, посчитай p, сравни с 0,05, если меньше, значит, твоя теория подтвердилась, иди печатать. Не требуется ни конкретной альтернативы, ни величины эффекта, ни расчёта мощности. Весь спор о свидетельстве, о котором мы говорили в первой главе, заменён одним вопросом с двумя возможными ответами.

Эта процедура поощряла сразу несколько заблуждений. Значимый результат принимали за доказательство гипотезы, хотя p-значение ничего о вероятности гипотезы не говорит. Незначимый результат принимали за доказательство отсутствия эффекта, хотя он мог означать лишь маленькую выборку. Величину p принимали за размер открытия. Эти заблуждения были настолько распространены, что в 2016 году Американская статистическая ассоциация сочла нужным выпустить официальное заявление: профессиональное сообщество статистиков разъясняло, что значение p не измеряет вероятность истинности гипотезы и само по себе не является хорошей мерой свидетельства. Обычно такие организации не выступают с заявлениями о смысле базовых понятий своей дисциплины. Для сравнения представим себе Международный астрономический союз, разъясняющий, что звёзды — не дырочки в небесной сфере.

Самое неловкое в этой истории то, что предупреждали давно. Ещё в 1959 году американский статистик Теодор Стерлинг подсчитал, что более девяти десятых статей в психологических журналах сообщают об успехе проверяемой гипотезы, и заметил, что так не бывает, если печатать всё подряд. В 1962 году психолог Джейкоб Коэн просмотрел подшивку одного журнала и установил: при эффекте средней величины типичный опыт имел шансы его обнаружить немногим меньше половины. Иначе говоря, авторы тратили месяцы на опыт, равносильный подбрасыванию монеты, и сами этого не знали.

А в 1967 году американский психолог и философ Пол Мил напечатал в журнале Philosophy of Science статью, которую сегодня цитируют как пророчество, под названием «Проверка теорий в психологии и физике: методологический парадокс». Парадокс состоял вот в чём. Физическая теория предсказывает конкретное число. Чем точнее прибор, тем уже допуск и тем труднее теории уцелеть. А психологическая теория обычно предсказывает только направление: одна группа окажется выше другой. Но две настоящие группы людей почти никогда не бывают абсолютно равны, какой-нибудь микроскопической разницей они всегда отличаются. Значит, при всё большей выборке нулевая гипотеза будет отвергнута почти наверняка, причём в нужную сторону с вероятностью примерно одна вторая, даже если теория ни на что не годится. Улучшение метода в физике усложняет жизнь теории, а в психологии облегчает. Мил написал, что статистическая значимость играет в психологии логическую роль, обратную той, что она играет в физике. Читатель узнает здесь Поппера, применённого к статистике: испытание, которое теория проходит почти при любом положении дел, ничего не значит.

Статью уважали и продолжали работать как прежде. В 2002 году немецкие исследователи Хайко Халлер и Штефан Краусс предложили психологам в университетах шесть распространённых неверных толкований значимости и обнаружили, что заблуждения широко распространены даже среди тех, кто сам преподаёт статистику студентам. Понадобились больше полувека предупреждений и один почтенный профессор, доказавший ясновидение, чтобы эти мысли перестали быть уделом кабинетных зануд.

Теперь мы можем разобрать самую цитируемую статью всей этой истории. В 2005 году греко-американский врач и специалист по методологии Джон Иоаннидис напечатал в журнале PLoS Medicine очерк под заглавием, которое не требует дополнительной рекламы: «Почему большинство опубликованных результатов исследований ложны». В нём нет новых экспериментов и почти нет новых данных. В нём есть простой расчёт, знакомый нам по задаче о маммограмме.

Представим себе область науки, где проверяют тысячу гипотез. Многие хорошие идеи неверны, поэтому предположим, что истинна из них сотня, а девятьсот ложны. Порог значимости стандартный: 0,05. Из девятисот ложных гипотез случайно значимый результат дадут примерно сорок пять. Это те самые пять процентов, о которых написано в учебнике. А что с истинными? Здесь всё решает мощность. Если опыт хорошо спланирован и мощность равна 80 процентам, то из ста истинных гипотез будут обнаружены восемьдесят. Всего значимых результатов 125, из них ложных 45. Каждый третий с лишним напечатанный «факт» неверен, хотя все правила соблюдены и никто не жульничал.

Но мощность в 80 процентов — это учебник. В психологии и нейронауках она часто оказывалась гораздо ниже. Если она равна 35 процентам, то истинных находок будет 35 против тех же 45 ложных, и большинство результатов окажутся ложными. Читателю первой главы всё это знакомо: число 0,05 есть вероятность данных при гипотезе, а не вероятность гипотезы при данных. Исходная доля истинных гипотез есть та самая априорная вероятность, которую статистические ритуалы велели игнорировать. Чем смелее и неожиданнее область, чем реже в ней верны проверяемые идеи, тем больше среди её открытий пустых, даже при безупречной честности. Самые сенсационные темы оказываются самыми ненадёжными. Но как раз они и публикуются в самых заметных журналах.

Иоаннидис сделал ещё один шаг, и в нём главное. До сих пор мы считали, что исследователи работают честно и точно по плану. Он добавил в расчёт смещение: долю анализов, которые не должны были бы дать результат, но в итоге дали его из-за особенностей планирования, обработки и подачи данных. Если таких случаев даже немного, картина резко ухудшается. А ещё прибавляется конкуренция: если десять лабораторий проверяют одно и то же и каждая публикует только свою удачу, то вероятность случайной удачи хотя бы у одной из них велика. Статья Иоаннидиса вызвала и возражения: некоторые статистики указывали, что его допущения взяты произвольно, а подсчёты по опубликованным p-значениям давали для медицинских журналов более скромные оценки доли ложных находок. Слова «можно доказать, что большинство результатов ложны» звучат сильнее, чем позволяет модель с настраиваемыми числами. Но главная логика никем не опровергнута: значимость сама по себе мало что говорит, если не знать, сколько попыток стояло за ней и какова была исходная вероятность удачи.

Есть и обратная ловушка, о которой ещё в 1957 году писал уже знакомый нам Деннис Линдли. При очень большой выборке результат может оказаться сколь угодно значимым и в то же время свидетельствовать в пользу отсутствия эффекта. Причина понятна после первой главы: значимость спрашивает лишь о том, редки ли такие данные при отсутствии эффекта, и не спрашивает, насколько они вероятны при его наличии. При огромной выборке ничтожное отклонение от нуля действительно редко, если эффекта нет, но ещё реже оно встречается, если эффект имеет сколько-нибудь заметную величину. В эпоху, когда компании и исследователи располагают данными о миллионах людей, значимым можно сделать почти любое различие, и это уже не математическая экзотика.

И здесь возникает вопрос, ответ на который занял следующие несколько лет. Что такое это самое смещение? Как оно работает в лаборатории, в которой честные люди делают свою работу? Могут ли они подтвердить что угодно, ни в чём не солгав? Ответ оказался неприятным и очень забавным.

Как получить любой результат

В том же 2011 году, когда вышла статья Бема, журнал Psychological Science напечатал работу американских исследователей Джозефа Симмонса, Лейфа Нельсона и Ури Симонсона. В ней сообщалось о поразительном открытии. Двадцать студентов Пенсильванского университета слушали либо песню группы «Битлз» «When I'm Sixty-Four», либо нейтральную инструментальную пьесу «Калимба», входившую в набор звуков одной из версий Windows. Потом участники указывали дату своего рождения и возраст отца. Анализ показал, что те, кто слушал песню о старости, стали почти на полтора года моложе, чем те, кто слушал «Калимбу»: 20,1 года против 21,5. Значение p составило 0,040.

Стоит вчитаться. Не почувствовали себя моложе. Стали моложе: по дате рождения в паспорте. Ни один студент не помолодел, разумеется, и авторы это прекрасно понимали. Опыт был проведён по всем правилам, данные настоящие, статистика правильная, ни одной строки подделано не было. Они просто сделали то, что считалось обычной практикой, и описали результат так, как его обычно описывают. А затем раскрыли, что именно было сделано на этом пути.

Они собрали сведения о многом: на сколько лет участник себя ощущает, сколько лет его отцу и матери, и ещё целый ряд посторонних вопросов. Была и третья песня, так что сравнивать можно было любую пару групп. Данные смотрели по мере поступления: проверяли после каждой порции в десять человек, остановившись, как только результат стал значимым. Возраст отца использовали как поправку, потому что с ней выходило лучше. А в статье сообщили только об удачном сочетании, как будто оно и планировалось с самого начала. Каждое такое решение по отдельности совершенно невинно и может быть даже разумным. Отчего бы не добрать участников, если результат неясен? Отчего бы не учесть возраст родителей, если он связан с возрастом детей? Отчего бы не исключить группу, в которой что-то пошло не так?

Вернёмся на минуту к Бему и посмотрим на его статью новыми глазами. Критики указали на то, чего читатель журнала сразу увидеть не мог. Чем больше участников было в опыте, тем меньше оказывался эффект, что естественно для набора данных до удачного момента. Голландский психолог Эрик-Ян Вагенмакерс и его соавторы, чей отклик вышел в том же журнале, показали, что многие проверки были в сущности разведочными, а представлены как подтверждающие. По словам других комментаторов, порядок опытов в статье не совпадал с порядком их проведения, а процедуру кое-где меняли по ходу дела. Бем считал всё это мелочами, ни одна из которых сама по себе не меняет вывода. Возможно, так оно и есть. Но в этом и состоит механизм: каждая отдельная вольность выглядит мелочью, а их произведение уже нет.

Авторы назвали это степенями свободы исследователя и посчитали, чего они стоят. Компьютерное моделирование на пятнадцати тысячах искусственных выборок, где никакого эффекта заведомо нет, дало следующее. При заранее заданном единственном анализе доля ложных удач равна положенным пяти процентам. Если из двух родственных показателей выбирать удачный, то это почти десять процентов. Если добавлять наблюдения после подглядывания, то около восьми. Если использовать одну поправку по выбору, то почти двенадцать. Если выбирать, какие группы сравнивать, то около двенадцати. А при совместном применении всех этих вольностей результат становится значимым в 61 проценте случаев. То есть вероятность «доказать» отсутствующий эффект оказывается выше, чем при бросании монеты. Заголовок статьи был прямым и по-своему отчаянным: «Ложноположительная психология». В первых её строках авторы написали, что опубликовать статистически значимое свидетельство в пользу любой гипотезы недопустимо легко.