Наука под вопросом. Философия науки XXI века

Регресс экспериментатора. Есть возражение гораздо более глубокое, и оно уходит в философию. В 1970-е годы британский социолог науки Гарри Коллинз изучал попытки обнаружить гравитационные волны. Американский физик Джозеф Вебер заявил, что поймал их на своих массивных цилиндрических антеннах. Другие построили подобные приборы и не увидели ничего. Кто прав? Вебер отвечал: ваши приборы плохо настроены. Как проверить, хорошо ли работает прибор? Он работает хорошо, если показывает правильный результат. Но какой результат правилен, мы и пытаемся выяснить при помощи прибора. Коллинз назвал этот круг регрессом экспериментатора (1985). Значит, повторение не может быть окончательным судьёй, ведь само решение, считать ли опыт грамотным повторением, зависит от того, что мы думаем о результате. По Коллинзу, круг разрывается не логикой, а переговорами внутри сообщества: кто-то оказывается убедительнее, у кого-то больше веса.

Сегодня это возражение звучит очень знакомо. Каждый автор неудавшегося опыта может сказать: вы неправильно повторили, вы не знали всех тонкостей, у вас неподходящие участники. И часто он прав, ведь наука состоит не только из протоколов, но и из умения. Читатель сразу узнает здесь проблему Дюгема в рабочем халате: неудача проверяет не гипотезу, а всю систему вместе с мастерством лаборанта. Если остановиться на Коллинзе, то вывод окажется неприятным: судьба результата решается тем, кто сильнее. Именно на это обычно ссылаются те, кому дорога мысль, будто наука есть разновидность политики.

Однако решающий ответ дал не философ. Американский физик и историк науки Аллан Франклин подробно разобрал то же самое дело Вебера и показал, что исход спора определялся не только авторитетом. Были доводы: калибровка приборов известными сигналами, найденная ошибка в программе у одной из групп, расхождение обнаруженных сигналов с тем, что требует теория для такого источника, независимость разных приборов. Именно совокупность этих доводов перевесила, и судить об их весе можно было, не зная заранее ответа. Регресс разрывается не потому, что кто-то сильнее, а потому, что есть другие способы проверить прибор, помимо спорного результата. В 2015 году установка LIGO действительно зарегистрировала гравитационные волны, причём совсем не такие сильные, какие сообщал Вебер, и по той причине, что на этот раз независимые основания для доверия были гораздо богаче. Этот случай нам ещё пригодится в главе о Хакинге. Сходимость независимых способов и есть то, что разрывает круг. Так что Коллинз прав, описывая реальную трудность, и неправ, делая из неё приговор. Тот же Коллинз, заметим, был очень далёк от отрицания физики и позже написал целую книгу с большой симпатией к физикам, искавшим эти волны.

Лекарства. Самое простое лечение следует прямо из диагноза. Если беда в том, что анализ выбирается после данных, надо выбирать его до данных и оставлять запись. Это называется предрегистрацией: исследователь заранее и публично фиксирует гипотезу, план, число участников и способ обработки. Следующий шаг сделал британский нейробиолог Кристофер Чемберс, предложивший с 2013 года в журнале Cortex формат зарегистрированных отчётов, о котором мы уже упоминали: журнал рецензирует план и обещает печатать результат, каким бы он ни оказался. Заодно обязательной становится публикация данных и программ, а журналы начинают принимать повторения. Именно формат зарегистрированных отчётов дал те самые 44 процента вместо 96. С точки зрения Поппера это просто запоздалое выполнение его требования: заранее указать, что опровергло бы гипотезу. Медики пришли к этому раньше психологов: клинические испытания обязаны регистрироваться с начала XXI века.

Но и здесь нельзя рассчитывать на механику. Мы уже говорили, что всякий обряд можно пройти, не проходя проверки. Заявленный план может быть туманным, отступления от него могут не быть оговорены. Исследовательская работа, которая ещё не знает, что ищет, вообще плохо укладывается в предварительный план, и нельзя её запрещать: Коперник и Дарвин ничего не регистрировали. Нужно только честно называть её разведкой и не выдавать за проверку. Самый наглядный урок дала сама реформа. В 2023 году в журнале Nature Human Behaviour вышла статья, подписанная в том числе Носеком и другими видными фигурами движения. Сообщалось, что если соблюдать все новые правила, то повторяемость достигает 86 процентов. Это была радостная новость для реформаторов. Через год журнал статью отозвал: критики и редакторы обнаружили, что главный анализ не был предрегистрирован, хотя статья утверждала обратное, а также нашли другие изъяны. Авторы с отзывом согласились в части неверных утверждений о предрегистрации, с остальными обвинениями нет. Некоторые противники реформы торжествовали. На наш взгляд, ничего более убедительного в её пользу придумать было нельзя: критерий применён к собственным сторонникам, и ошибка найдена именно потому, что документы лежали в открытом доступе.

Спор продолжается о самих числах. В 2018 году большая группа статистиков и учёных предложила понизить порог значимости для новых открытий с 0,05 до 0,005. Другие возразили, что этот порог столь же произволен, что он увеличит трудности с небольшими выборками и что выбор порога надо обосновывать в каждом случае. Третьи предлагают вообще отказаться от слов «статистически значимо», и в 2019 году эту мысль поддержал специальный выпуск журнала Американской статистической ассоциации. Байесианцы предлагают заменить p-значения факторами Байеса. В этом споре мы видим то самое столкновение, которым закончилась первая глава. Когда Вагенмакерс и его коллеги пересчитали данные Бема по-байесовски, они получили, что данные его гипотезу почти не поддерживают. На это Бем с соавторами ответили, что априорные распределения были выбраны неудачно, и предложили свои, при которых результаты оказываются намного лучше. Формула не положила конец спору, а только показала, в чём именно он состоит: насколько вероятен эффект заранее и какой он должен быть величины.

А Дебора Мейо, чья теория строгой проверки уже появлялась в первой главе, видит в этой истории подтверждение своей правоты. Для неё подглядывание в данные и выбор анализа — главное, что следует учитывать, и как раз для этого нужны частоты ошибок процедуры. Значимость в 0,05, полученная перебором, означает нестрогую проверку, и гипотеза ничего не прошла. Байесовский расчёт, не учитывающий правила остановки, по её мнению, не замечает самого существенного. Байесианцы вроде Вагенмакерса отвечают, что и у них есть средства борьбы с подгонкой, а безусловная вера в предрегистрацию ничего не заменяет. Для нас здесь важно не вынесение окончательного приговора, а то, что обе стороны теперь согласны в главном: процесс получения данных принадлежит к данным.

Так что же с ясновидением? Посмотрим, чем кончилось дело, потому что здесь и лежит настоящий ответ на вопрос о границе. Бем не сдался. В 2015 и 2016 годах он с соавторами опубликовал метаанализ девяноста опытов из 33 лабораторий четырнадцати стран и заключил, что в целом эффект подтверждается. Сторонники ясновидения указывают на эту работу и поныне. Но сводить в метаанализ то, что прошло через ящик стола, значит складывать смещения. Тогда в 2023 году вышел результат проекта, который назывался «Прозрачное пси». Венгерский психолог Золтан Кекеш с коллегами взял первый опыт Бема с занавесками и организовал его проверку так, как никто никогда прежде не проверял. План был согласован комиссией из 29 специалистов, в которой пятнадцать были сторонниками Бема, включая его самого, а четырнадцать скептиками, данные поступали в открытый доступ по мере получения, чтобы никто не мог ничего изменить. В десяти лабораториях девяти стран были собраны 37 836 попыток от 2115 участников. Угадывали в 49,89 процента случаев при случайном уровне 50. У Бема было 53,07.

Это и есть образец того, как кончается подобное дело, когда всё сделано честно: стороны заранее согласились, что считать результатом, а потом посмотрели. Как заметил Кристофер Френч, мировая пресса, обрадованная в 2011 году сенсацией, на этот раз промолчала. Разумеется, и после этого можно предположить, что эффект есть, но он в сотни раз меньше, или что он скрывается, когда за ним наблюдают скептики. Исследователи, изучающие парапсихологов, давно отметили этот приём: когда явление не воспроизводится, говорят, что оно по своей природе тонкое, капризное и неуловимое. Эрих Гуд в сборнике Пильюччи и Будри описывает эту позицию как типичную для всей области. И вот здесь проходит граница, которая нас волнует.

У этого образца есть название. Канеман предложил говорить о состязательном сотрудничестве: противники заранее договариваются, какой опыт и при каких результатах будет считаться решающим, а затем вместе его проводят. Для вопроса о том, кому верить, это особенно важно. Здесь решает не мнение большинства, не авторитет журнала и не голосование специалистов. Сообщество участвует в деле не как судья, а как сторона, которая может согласиться с условиями проверки и этим лишить себя права потом объявить их неправильными. Такая процедура не упраздняет разногласий и не устраняет всех вопросов, но она показывает, как сообщество может работать на проверку, а не вместо неё.

Обе дисциплины столкнулись с невоспроизводимостью. Психология, пусть и с воем, с взаимными обвинениями и разрушенными карьерами, изменила свои правила: ввела предрегистрацию, начала печатать неудачи, признала, что многие учебные результаты ошибочны. Парапсихология такого не сделала, и не сделала потому, что в ней нет результатов, которые могли бы устоять после изменения правил. Заметим: Бем соблюдал те же нормы, что и другие психологи. Методологической границы между ними в 2011 году не было. Граница появилась потом, и проведена она не свойствами метода, а реакцией на неудачу. Мы увидим в последней главе, что современные философы лженауки считают это одним из важнейших её признаков.

Лакатос назвал бы то, что происходит в парапсихологии, вырождающейся программой. Каждая неудача сопровождается новым вспомогательным допущением, которое ничего нового не предсказывает. Эффект есть у верящих и отсутствует у неверящих: это предложили называть эффектом овец и козлов. Эффект исчезает со временем: это назвали эффектом спада. Эффект пропадает в присутствии скептика. Заметим, что подобные допущения сами по себе не абсурдны. Вера участника могла бы, например, влиять на результат. Однако они вводятся задним числом, а не из новых предсказаний, и в итоге защищают исходную гипотезу от любых возможных данных. По той же логике надо оценивать и некоторые ответы психологов на неудавшиеся повторения: скрытые посредники, особенности культуры, неподходящие участники. Такие ответы допустимы и бывают верны, если из них следует новое проверяемое предсказание. Если не следует, они ничем не лучше отговорки медиума, что сегодня духи не в настроении.

Остаётся опасность с другой стороны, о которой говорил Фанелли. Как только учёные сами признают такие вещи, ими начинают пользоваться те, кому неудобны их выводы. Американские табачные компании ещё в 1990-е годы создавали организации в защиту «здравой науки», требуя всё более полных доказательств там, где доказательства были для них невыгодны. В любой стране есть влиятельные люди, которым кстати сообщение, что значительная часть исследований не повторяется, если речь идёт о каком-нибудь неудобном им отчёте. Но заметим, как отвечает на это хорошее понимание предмета. Сказать «наука ненадёжна» значит не сказать ничего. Надо спрашивать: что именно было проверено, сколько раз, кем, независимо ли, сходятся ли разные способы? Результат о том, что на вероятность рака влияет курение, опирается на сотни независимых работ разного типа, и даже всеобщий кризис ему не страшен. А свежая работа на пятидесяти студентах о том, что определённый цвет обоев делает вас щедрее, по-прежнему выглядит хрупко. Кризис воспроизводимости — не довод против науки. Он есть инструкция, как читать её в разных случаях по-разному.

Итог и вопрос читателю

Первая глава учила нас менять уверенность по правилам. Эта показала, что правила ничего не стоят, если неизвестно, как данные попали нам в руки. Значимое число в статье есть конец длинной цепочки решений, а большая её часть остаётся за кадром: сколько групп сравнивали, когда перестали набирать участников, какие показатели выбрали, что положили в стол, за что платили. Проверка опытом не отменена. Она оказалась работой, которую надо делать на всех этих звеньях, а не только на последнем.

Отсюда несколько выводов, приложимых и к чтению газет. Единственное исследование почти ничего не решает, особенно если оно маленькое, а вывод поразительный. Результат, повторённый независимыми людьми другими способами, стоит несравненно больше. Важен не тот вопрос, значим ли результат, а другие: сколько было попыток, был ли план заранее, кто мог выиграть и нашёлся ли кто-нибудь, кто пытался его опровергнуть.

Для философии науки главный итог неудобен, и его придётся удержать. Поппер, Лакатос и Байес писали о том, как должен рассуждать учёный. Но то, что делает наука в целом, зависит не только от рассуждений. Журнальные правила и система наград могут сделать негодным даже верный метод в руках честных людей, и разумный отдельный человек ничего с этим не поделает. Это значит, что вопрос о рациональности науки в значительной части есть вопрос о том, как устроено её сообщество, и что ссылка на него сама по себе ничего не гарантирует. Мы подробно обсудим это в двенадцатой главе.

А пока отметим последнее обстоятельство. Перл настаивает, что вся эта история с ритуалами возникла из более старой ошибки: статистика запретила себе говорить о причинах. Исследователь думает «вызвано», а пишет «связано с», и никакая предрегистрация этого сама не исправит. Безупречно зарегистрированное и точно повторённое исследование может с большой надёжностью устанавливать связь, ничего не говорящую о том, что произойдёт, если вмешаться. Об этом следующая глава.

Вопрос читателю. Вспомните диету, способ воспитания, вложение денег или народное средство, которые «сработали» у вас или у знакомых. Сколько других способов пробовали и забыли? Сколько людей попробовали то же самое и промолчали, потому что вышло плохо? У каждого человека есть свой ящик стола, и самые твёрдые житейские убеждения нередко опираются лишь на то, что из него случайно выпало.

Глава 3. Причина возвращается

«Что» и «почему»

В 1990-е годы американский специалист по информатике Иудея Перл, который вырос в Израиле и в школьные годы штудировал Книгу Бытия вместе с классом, заново прочёл сцену в Эдемском саду и заметил в ней деталь, которой прежде не придавал значения. Бог задаёт Адаму простой вопрос о факте: не ел ли ты от дерева, с которого я запретил тебе есть? Ответ на такой вопрос состоит из одного слова. Но Адам говорит: жена, которую ты мне дал, дала мне плод. Бог спрашивает Еву: что ты сделала? Ева отвечает: змей обольстил меня. Спрашивали «что», а ответили «почему». У обоих есть объяснение, и оба, что характерно, указывают на другого. Первые люди в этой истории только что съели плод познания и немедленно начали с причинного анализа.

Перл извлёк из этой сцены вывод, ради которого написана вся его книга, написанная с Даной Маккензи (2018; по-русски она вышла под заглавием «Думай „почему?“»). Мир, каким его знают люди, состоит не из сухих фактов, а из фактов, связанных сетью причин и следствий. Для нашего мышления объяснение первичнее сообщения. Ребёнку трёх лет понятно, что отбирать игрушку у младшего брата и брат заплакал — вещи связанные, причём связанные определённым образом, и что если бы он её не отобрал, брат бы не заплакал. Для этого ему не требуется ни статистики, ни логики. И вот, продолжает Перл, откройте учебник статистики, науки об извлечении знания из данных. В предметном указателе многих из них вы не найдёте слова «причина». Зато найдёте предупреждение, которое слышал каждый студент: корреляция не есть причинность.

Предупреждение это справедливо, и мы только что, в предыдущей главе, видели, как дорого обходится забвение его. Но сформулировано оно странно. Оно говорит, чем причинность не является, и ничего не говорит о том, чем она является. Врач хочет знать, поможет ли лекарство больному. Законодатель хочет знать, что будет, если изменить налог. Судья хочет знать, погиб бы человек, если бы пожарный выход не был загорожен. Все они задают причинный вопрос. Статистик отвечает им числом, которое на этот вопрос, строго говоря, не отвечает, а затем прибавляет оговорку, что причинных выводов из него делать не следует. В результате причинный вывод делает читатель, но делает его тайком. В статье написано «связано с», а думает автор «вызывается» и надеется, что читатель подумает то же самое.

Это положение дел в XXI веке начало меняться. Перл называет произошедшее причинной революцией и, как всякий революционер, преувеличивает значение своего участия. Но у него есть основания. За несколько десятилетий усилиями небольшого числа информатиков, статистиков, эпидемиологов, а также, что для нас особенно важно, философов был создан язык, на котором можно записать причинный вопрос и выяснить, ответят ли на него данные. Это одно из самых заметных изменений в методологии науки за последние полвека, и в русскоязычной среде о нём знают ещё мало.

Для серии эта глава занимает особое положение. Причина была центральным понятием у Аристотеля, предметом сомнений у Юма, необходимой формой мышления у Канта, а затем её последовательно выводили из науки Мах, Пирсон и Рассел. Читатель первых томов знает, что у этого изгнания были серьёзные основания. Посмотрим сначала, как оно произошло и зачем было нужно, а потом разберём, чем оно кончилось.

Как причину изгнали из науки

Начало положил Юм, и начало это было двойным. В «Трактате» 1739 года он определил причину как предмет, за которым следует другой, причём все сходные предметы сопровождаются сходными. Причина есть постоянное соединение, и больше мы ничего не наблюдаем. Но в «Исследовании» 1748 года он добавил, как будто это то же самое другими словами: или, иначе говоря, если бы первого предмета не было, не было бы и второго. Перл с удовольствием отмечает, что связка «иначе говоря» скрывает здесь пропасть. Первое определение говорит о том, что можно наблюдать. Второе говорит о мире, которого нет. Весь дальнейший спор проходит между этими двумя фразами, причём два с лишним века побеждала первая. Петух всегда кричит перед восходом, значит, в смысле первого определения он его причина. Для второго определения это нелепость: если петух заболеет, солнце всё равно взойдёт.

В XIX и начале XX века позитивисты сделали из первой фразы программу. Мы подробно видели это во втором томе. Мах считал, что понятие причины несёт на себе следы первобытной привычки, а наука должна заменить его функциональной зависимостью между измеряемыми величинами. В 1913 году Рассел, зачитывая доклад в Аристотелевском обществе, произнёс слова, которые цитируют с тех пор все, кто пишет на эту тему. В передовых науках, вроде гравитационной астрономии, слово «причина» вообще не встречается, а закон причинности, по его словам, есть пережиток минувшей эпохи, уцелевший, как монархия, лишь благодаря ошибочной уверенности, что он безвреден. Основание у него было совершенно ясное. Уравнение Ньютона связывает силу, массу и ускорение симметрично. Оно не говорит, что чем вызвано. Его можно прочесть в обе стороны, а все времена в нём равноправны. Если физика, образец всех наук, обходится без причин, то зачем они остальным?

Самое же решительное изгнание произошло там, где оно имело наибольшие практические последствия, и началось оно почти случайно. 9 февраля 1877 года английский учёный Фрэнсис Гальтон, двоюродный брат Дарвина, путешественник и изобретатель дактилоскопии, читал в Королевском институте лекцию о законах наследственности. На лекции он показывал устройство собственной конструкции: доску с рядами штырьков, сквозь которые падают шарики и собираются внизу в колоколообразную кучу. Гальтон искал механизм. Если рост передаётся по наследству с добавлением случайных отклонений, то разброс в каждом поколении должен увеличиваться, как при удлинении доски. Но людей ростом в три метра нет. Почему распределение остаётся устойчивым?

Искал он около восьми лет и обнаружил явление, которому дал название возврата, или регрессии к посредственности. Сыновья очень высоких отцов в среднем ниже отцов. Гальтон сначала принял это за закон наследственности, а потом обнаружил нечто озадачившее его. Отцы очень высоких сыновей тоже в среднем ниже своих сыновей. Та же регрессия идёт и назад во времени, и между ростом и длиной предплечья у одного и того же человека. Но если следствие работает в обе стороны, это не причина. Это свойство самих чисел: всюду, где результат определяется способностью и везением одновременно, за необычно хорошим результатом следует более обычный, потому что удача не наследуется и не повторяется. Канеман позднее выразил это в формуле: успех есть талант плюс удача, большой успех есть немного больше таланта и намного больше удачи.

Здесь стоит задержаться, потому что регрессия к среднему объясняет почти всё в работе целителей. К знахарю, гомеопату и потомственному целителю идут тогда, когда хуже всего. Боль в спине, простуда, тяжёлая полоса, приступ тоски обычно колеблются вокруг какого-то среднего уровня. Человек обращается за помощью на пике, и в подавляющем большинстве случаев через некоторое время ему станет лучше, что бы он ни делал. Целителю не обязательно обманывать. Он наблюдает одно и то же сотни раз: пришли плохо, ушли лучше. Его многолетний опыт совершенно реален. Нет в нём только контрольной группы. Точно так же тренер хвалит спортсмена после рекорда и ругает после провала, замечает, что после похвалы результат падает, а после ругани растёт, и выводит из этого педагогическую систему. Человек, не знающий о регрессии, увидит причину там, где есть только арифметика, причём увидит её очень убедительно.

Гальтон начал с поиска причин, а закончил понятием корреляции, и его младший современник превратил это в философию. Английский математик Карл Пирсон, близкий по взглядам к Маху и написавший в 1892 году «Грамматику науки», описывал впоследствии чтение гальтоновой книги о наследственности как освобождение: он почувствовал себя пиратом времён Дрейка. Причинность для него была лишь предельным случаем корреляции. Опыт показывает, что такая-то последовательность повторялась. Ни о какой необходимости наука ничего сказать не может. Сила как причина движения, писал он, стоит в одном ряду с богом дерева как причиной роста. Всё, что есть у науки, это таблицы сопряжённости.

Перл здесь не стесняется в выражениях. Для него Пирсон — фанатик, изгнавший причину из науки. Позитивизм, пишет он, считает вселенную продуктом человеческой мысли, а причинность вне головы бессмысленной. Читателю второго тома понятно, что это карикатура: Мах и Пирсон утверждали не то, что мир создан мыслью, а то, что наука описывает связи между наблюдениями и что всякое понятие должно быть оплачено проверкой. Юм и Рассел тоже имели основания. Перл, кстати, сам открыто признаёт, что пишет историю с точки зрения победителя, зная, чем всё кончилось, и объявляет такой подход своей гордостью. Будем помнить об этом, читая его. Но одно последствие запрета он описывает верно, и его можно проверить документально.

Возник так называемый сухой закон на причинность, продержавшийся больше полувека. Шотландский статистик Джордж Удни Юл изучал в 1899 году, как помощь бедным влияет на бедность. Он учёл долю пожилых и другие обстоятельства, то есть поступил как человек, желающий выделить причину. А в сноске к своей работе написал: вместо слов «вследствие» читайте «связано с». Этот образец действовал поколениями. Учёные думали «вследствие», а говорили «связано с». Разумеется, сами эти связи продолжали доставлять неудобства. Пирсон знал о ложной корреляции: он сам обнаружил её в собственных данных о черепах из парижских катакомб, где при смешении мужских и женских черепов появлялась связь, отсутствовавшая в каждой группе. Юл находил корреляцию 0,95 между смертностью в Англии и долей браков в англиканской церкви. Нужно было как-то сказать, что эти корреляции «ложные». Но ложные в сравнении с чем? С настоящими. А настоящие в их языке означали что? Чтобы отличить одни от других, нужно понятие причины, которое только что запретили. Таблица сопряжённости не содержит ответа.

Современный читатель встречает такие корреляции в заголовках чуть ли не ежедневно. Страны, где едят больше шоколада, получают больше Нобелевских премий на душу населения. Такой расчёт действительно был опубликован в серьёзном медицинском журнале, правда, отчасти в шутку. Числа там верны. Все понимают, что шоколад не прибавит таланта, и что за обеими величинами стоит богатство страны. Но почему мы в этом так уверены? Статистика сама этого не скажет. Такая уверенность возникает из причинных представлений, которые мы приносим к таблице сами.