Наука под вопросом. Философия науки XXI века

Очень важно понять, чем это отличается от обмана. Подлинный обман есть и о нём мы ещё скажем, но он большая редкость. Здесь происходит нечто иное и гораздо более распространённое. Вот учёный, искренне верящий в свою гипотезу. Он провёл опыт, эффекта нет. Он думает: может быть, мало людей? Добирает. Может быть, опрос в конце был неудачным? Смотрит другой показатель. Может быть, те, кто плохо понял задание, всё смазали? Отбрасывает их. На каждом шаге он находит разумную причину, и он эту причину не выдумал. Так и работает обычное человеческое мышление: когда результат приятен, мы его принимаем, а когда неприятен, начинаем выяснять, в чём дело. В 2012 году психолог Лесли Джон и её соавторы анонимно опросили около двух тысяч американских психологов, и выяснилось, что заметная доля признавала за собой такие приёмы, причём многие не считали это нарушением. Это не кучка мошенников. Это нормальная лаборатория, какой она была.

Выразительнее всего это показал случай, когда сам участник рассказал обо всём как о добром примере. Брайан Вансинк, профессор Корнеллского университета, был одним из самых популярных исследователей питания в мире: его работы о том, что люди съедают больше из большой тарелки и не замечают дна бездонной миски супа, разошлись по журналам, книгам и рекомендациям для школьных столовых. В ноябре 2016 года он опубликовал в своём блоге поучение молодым учёным под названием «Аспирантка, которая никогда не говорила нет». Там рассказывалось, как он дал новой сотруднице данные неудавшегося опыта: цена в итальянском ресторане со шведским столом не повлияла на количество съеденного. Он сказал ей, что данные дорого обошлись и что-то в них должно найтись. Девушка согласилась, в отличие от другого сотрудника, отказавшегося от этого занятия, и вскоре вышло несколько статей: сравнивались мужчины и женщины, обедающие и ужинающие, сидящие в одиночку и в компании. Автор блога гордился её трудолюбием. Читатели пришли в ужас. Другие исследователи заново просмотрели его работы и обнаружили множество несостыковок. К сентябрю 2018 года было отозвано тринадцать его статей, университет признал нарушение академической этики, и Вансинк подал в отставку, продолжая настаивать на ценности своей работы. Важнее всего здесь то, что написать такое в открытом блоге мог только человек, вообще не видевший в этом ничего дурного. И десятилетиями в его дисциплине этого действительно почти никто не видел.

Американские статистики Эндрю Гельман и Эрик Локен продвинулись ещё дальше. Они указали, что нет нужды даже в сознательном переборе. Исследователь мог вообще провести только один анализ. Но какой именно, определилось уже после того, как он увидел данные. Если бы данные были другими, он бы логично выбрал другой анализ, и у него нашлась бы для этого столь же убедительная причина. Гельман и Локен назвали это садом расходящихся тропок, позаимствовав образ у Борхеса. Человек проходит по саду только одной тропинкой и искренне уверен, что выбора не было. А расчёт вероятности предполагает, что маршрут был задан заранее, вне зависимости от того, что встретится по пути. Отсюда важное следствие: честность сама по себе от этого не лечит. Ни добрые намерения, ни отсутствие подгонки в обычном смысле не помогают, если выбор анализа зависел от данных. Ведь выше мы уже видели задачу о трёх дверях: одна и та же открытая дверь весит по-разному в зависимости от того, каким правилом она открыта. Здесь то же самое, только двери открывает сам учёный и не замечает этого.

Как широк этот сад, удалось измерить прямо. В 2018 году группа под руководством Рафаэля Зильберцана раздала один и тот же набор данных 29 независимым командам, всего 61 специалисту. Вопрос был один: чаще ли футбольные судьи показывают красную карточку темнокожим игрокам? Никто ни с кем не соревновался за публикацию, все работали открыто и добросовестно. Двадцать команд нашли значимый эффект, девять не нашли. Оценки разошлись от почти полного отсутствия различий до почти трёхкратного, а наборы учитываемых поправок образовали 21 разное сочетание. Ни убеждения аналитиков, ни их опыт, ни оценки качества работы, выставленные коллегами, этого разброса не объясняли. Вот что такое одна опубликованная статья с одним анализом: одна тропинка из большого сада, и читателю обычно показывают только её. Заметьте также, что данные здесь никто не подгонял. Просто честные решения честных людей ведут в разные стороны, а статистика сообщает только о том, что случилось на выбранной дороге.

К этому же относится ещё один приём, которому американский психолог Норберт Керр в 1998 году дал название, ставшее термином: выдвижение гипотез после того, как результат известен. По-английски это звучит как HARKing. Работает так. Лаборатория проверяла одно, получила другое, неожиданное. Интересно! И статья пишется так, будто неожиданное было предсказано с самого начала: во введении излагается теория, которая ведёт именно к этому, и читатель видит безупречную смелую гипотезу, блестяще подтверждённую. Именно против этого предостерегали все теории подтверждения, какие мы знаем. Поппер требовал, чтобы проверка могла опровергнуть теорию, а если теорию придумали после результата, никакого риска не было. В байесовских терминах предсказание задним числом ничего не поднимает: вероятность такого результата при подогнанной гипотезе равна единице потому, что её под него подогнали. Есть даже советы для начинающих психологов, написанные уважаемым автором, где прямо рекомендуется писать статью о том, что вышло, а не о том, что планировали. Заметим, кстати, что автором одного из самых популярных таких советов был сам Дэрил Бем.

До сих пор мы говорили о том, что происходит в лаборатории. Но есть вторая половина картины, та, что происходит на пути в журнал. В 1979 году американский психолог Роберт Розенталь дал ей имя, которое прижилось сразу же: проблема ящика стола. Представим себе, что двадцать лабораторий независимо проверяют один и тот же несуществующий эффект. В среднем одна из них получит значимый результат. Девятнадцать положат свои неудачи в стол, поскольку журнал такое не примет, а заняться чем-нибудь другим полезнее. Одна опубликует. Читатель журнала видит единственную статью, в которой есть значимый эффект, и совершенно правильная статистика. Откуда ему знать о девятнадцати?

Масштаб этого явления теперь можно оценить. Есть особый формат публикации, о котором мы ещё скажем: журнал принимает статью к печати на основании плана опыта, до получения результата. Это единственный случай, когда отбор по результату невозможен. В 2021 году группа психологов сравнила обычные статьи с такими. Результаты, поддерживающие проверяемую гипотезу, составили в обычных статьях 96 процентов. В статьях с предварительным принятием 44 процента. Даже с учётом того, что подобные работы могут отличаться по темам, разрыв огромен. Литература, которую читают студенты и на которую ссылаются популяризаторы, в которой почти каждый проверяемый замысел удаётся, описывает не науку, а её выставочный зал. Психолог, заглянувший в собственный архив, сразу понимал это, но считал, что неудача случается только у него.

Отбор по значимости порождает и следствие, которое называют проклятием победителя. Если опыт мал, значимым может оказаться только большой эффект, поскольку маленький утонет в шуме. Значит, небольшая выборка не столько находит настоящие большие эффекты, сколько пропускает в печать случайные завышения. Настоящий эффект может быть, но всего вполовину или вчетверо меньше заявленного. Как раз это и получилось в работе Носека: при повторении эффекты оказались вдвое меньше. Тут есть почти комичный парадокс. Чем хуже опыт, тем более поразительный результат он должен дать, чтобы его напечатали. Статьи, прочитанные за завтраком под заголовком «оказывается, мы совсем не те, кем себя считаем», особенно часто бывают именно такого происхождения.

Наконец, обратимся к уже знакомому Иудее Перлу. Он смотрит на всю эту историю с другой стороны, и его упрёк серьёзнее. Для него ошибка не только в том, что результаты отбирают. Ошибка ещё и в том, что считают. Статистики, пишет он, настолько запутались в вопросе о том, какие переменные надо учитывать, что по умолчанию стали учитывать всё, что удалось измерить. Но поправка на лишнюю переменную может не очистить, а исказить результат. Если учесть то, что само является следствием изучаемой причины, или то, что случайным образом связывает две другие величины, можно создать связь там, где её нет. Коэффициент регрессии, сколько его ни уточняй, остаётся описанием статистического тренда и причин сам по себе не показывает. Он приводит поразительную цифру: метод анализа посредствующих переменных, предложенный Бароном и Кенни в 1986 году, к 2017 году собрал 73 тысячи цитирований, больше иных трудов Эйнштейна и Фрейда, хотя в нём, по оценке Перла, вообще нет причинной логики. Тысячи исследователей пользовались им как рецептом. Об этом подробно в следующей главе.

Но один вывод нужно сделать уже здесь. Точная процедура, которую можно применять механически, удобна. Перл саркастически заметил, что учёные всегда предпочитают привычные вычисления методам, которые затрагивают их научное знание. В этом смысле ритуал значимости был не просто ошибкой. Он был договорённостью о том, как не спорить. Если результат прошёл ворота, вопрос закрыт, и можно обойтись без размышлений о том, что именно измерено, сколько было попыток и нет ли другого объяснения. А всякий раз, когда из проверки делают обряд, в ней появляется возможность пройти обряд, не проходя проверки.

Масштаб и причины

Можно было бы подумать, что всё это особенность психологии, науки молодой и зыбкой, где предмет изучения капризен, а эффекты малы. Многие физики и молекулярные биологи так и думали. Однако в 2011 и 2012 годах появились два сообщения совсем из другой области, причём от людей, которым было важно не разоблачение, а деньги.

Фармацевтическая компания, прежде чем вкладывать сотни миллионов в новое лекарство, обычно проверяет у себя лабораторные результаты, на которых оно основано. Группа исследователей немецкой фирмы Байер сообщила, что из 67 внутренних проектов полностью подтвердить опубликованные данные удалось примерно в четверти. Годом позже Гленн Бегли, работавший в американской компании Амджен, и Ли Эллис сообщили ещё более резкую цифру. Сотрудники Амджен попытались воспроизвести 53 работы, которые считались важнейшими в доклинических исследованиях рака, и подтвердили шесть. Это одиннадцать процентов. Оговоримся: у этих двух сообщений есть свои слабые места. Компании не раскрыли, какие именно работы проверялись, так что сами их выводы нельзя проверить, и в этом есть горькая шутка. Отобраны были особо заметные и новаторские работы, а неудача в чужой лаборатории не всегда означает, что результат неверен. Но вывод всё равно очевиден: дело не в одной психологии, и даже без соблазнов общественных наук есть целые области, где напечатанное ненадёжно.

Другие большие проекты дали результаты получше, но не утешительные. В экономике при проверке лабораторных опытов подтвердилось около 60 процентов. В 2018 году группа под руководством американского экономиста Колина Камерера повторила 21 опыт по общественным наукам из самых престижных журналов мира, Nature и Science, используя выборки примерно в пять раз больше исходных. Подтвердились 13 из 21, и величина эффекта составила примерно половину заявленной. У этой работы есть любопытная деталь. Перед повторением участники исследовательского сообщества делали ставки на особом рынке, какие результаты подтвердятся, и в целом угадывали хорошо. Это значит, что специалисты в массе своей могут отличить надёжную работу от сомнительной, просто прочитав её. Тогда почему журналы всё это печатали? И почему коллеги всё это цитировали? Вопрос сам собой переходит с методов на людей.

Цифры становятся нагляднее, если посмотреть, что именно пало. В 1996 году американский психолог Джон Барг сообщил об опыте, вошедшем затем во все учебники. Студенты составляли предложения из наборов слов, среди которых были слова, связанные со старостью, и после этого шли по коридору медленнее, чем контрольная группа. Работу цитировали тысячи раз, а популярные книги пересказывали её как доказательство того, что поведением человека незаметно управляет любая мелочь. В 2012 году бельгийская группа Стефана Дуайена повторила опыт, заменив секундомер в руках экспериментатора автоматическим замером, и эффекта не нашла. Зато он появился, когда самим экспериментаторам внушали, что участники должны идти медленнее. Сразу вспоминается лошадь по имени Умный Ганс, считавшую по незаметным знакам своего хозяина. Барг ответил резко, разгорелся публичный спор. Другой случай: так называемое истощение эго, представление, что сила воли есть нечто вроде мышцы, которая устаёт от работы. На эту идею опиралось множество исследований и популярные книги о самоконтроле. В 2016 году 23 лаборатории повторили опыт по единому заранее утверждённому плану на 2141 участнике, и эффект оказался практически нулевым, хотя сторонники идеи спорят о том, удачной ли была выбранная задача. И, наконец, поза силы: работа 2010 года на 42 участниках утверждала, что две минуты в уверенной позе меняют уровень гормонов и готовность к риску. Об этом с успехом рассказывали на всемирно известных лекциях и в советах соискателям. Более крупные опыты гормональный эффект не подтвердили, а в 2016 году первый автор исходной статьи, Дана Карни, публично заявила, что больше не считает эффект реальным. Такое признание само по себе редкость, и за него ей стоит отдать должное.

Чтобы не впасть в обратную крайность, надо добавить, что пало не всё. В работе Носека результаты когнитивной психологии подтверждались примерно вдвое чаще, чем социальной: около половины против примерно четверти. То, что слово «врач» ускоряет узнавание слова «медсестра», воспроизводится легко, как и многие другие результаты о памяти и внимании. Устойчиво ведут себя и сильные классические эффекты вроде того, что человеку трудно назвать цвет чернил, которыми написано название другого цвета. Даниэль Канеман, чья популярная книга сильно опиралась на результаты о незаметных влияниях, ещё в 2012 году написал коллегам открытое письмо с предупреждением о надвигающейся катастрофе, а позже прямо признал, что слишком доверял маленьким исследованиям. Различие идёт не по границе дисциплин, а по устройству работы. Там, где эффект велик, процедура стандартна, а один и тот же человек может повторить опыт много раз, проверка срабатывает сама собой. Там, где эффект тонок, а данные дороги и единичны, начинается наша история.

Отвечать на него проще всего так: виноваты отдельные жулики. Такие действительно есть. В 2011 году в Нидерландах выяснилось, что видный социальный психолог Дидерик Стапел годами попросту выдумывал данные: он садился за компьютер и вводил те числа, которые должны были получиться, а потом передавал готовые таблицы аспирантам. Отозвано более пятидесяти его работ. Но и такие случаи, сколько можно судить, встречаются редко, и анонимные опросы показывают, что в явной подделке признаётся около двух процентов учёных. Для объяснения того, о чём мы говорим, никакой подделки не нужно. Дело Стапела важно другим: годами коллеги, рецензенты и журналы ничего не замечали, потому что его результаты всем нравились. Раскрыли его в итоге младшие сотрудники. Проверка этого человека не коснулась, пока рядом не оказалось людей, готовых задать вопрос.

Гораздо интереснее другое объяснение. В 2016 году американский специалист по когнитивным наукам Пол Смалдино и антрополог Ричард Макэлрит опубликовали статью с заглавием в духе Дарвина: «Естественный отбор плохой науки». Их рассуждение строится как модель из теории эволюции. Представим популяцию лабораторий. У каждой есть свой способ работы, более тщательный или менее. Тщательность стоит времени, поэтому тщательные лаборатории публикуют меньше, зато у менее тщательных больше удач, в том числе ложных. Карьера, гранты и новые места зависят прежде всего от числа публикаций в заметных журналах. Выпускники успешных лабораторий заводят собственные и учат студентов так, как учили их самих. Что будет через несколько поколений? В модели менее тщательные методы постепенно вытесняют более тщательные, причём никто никого не обманывает и ни один человек сознательно не выбирает плохую работу. Всё, что требуется, это чтобы награды полагались за количество и новизну. Авторы прибавляют и данные: проанализированные ими обзоры показывают, что средняя мощность исследований в поведенческих науках за шестьдесят лет почти не выросла, хотя статистики всё это время призывали её повышать.

Обратите внимание на то, как это дополняет картину третьего тома. Роберт Мертон описывал нормы науки: всеобщность, бескорыстие, организованный скептицизм. Он считал, что система наград поддерживает эти нормы, поскольку первооткрывателя чтут, а проверяющего в итоге тоже уважают. Однако если награды выдаются за первенство и никогда за повторение, то организованный скептицизм остаётся словами на плакате. Эта система хорошо работает там, где результат сам быстро подвергается проверке, например когда из него делают прибор. Там, где подлинной проверки нет и никто не ставит опыта второй раз, она производит то, за что платит.

А вот с деньгами дело обстоит ещё проще. В клинических исследованиях давно заметили, что работы, оплаченные производителем лекарства, заметно чаще приходят к выгодным для него выводам, чем независимые. Часто это происходит без явной подделки, так как достаточно выбора того, с чем сравнивать, какой показатель считать главным и что из результатов печатать. По той же причине там, где регистрация испытаний стала обязательной и исказить выводы стало труднее, доля положительных результатов заметно снизилась. Перл в своей книге приводит случай табачной индустрии, которая, как мы увидим в тринадцатой главе, поставила производство сомнений на промышленную основу. Там всё было сознательно. Но механизм рынка действует и без сознательного намерения: приборы, реактивы, чудодейственные тренинги и лекарства приносят деньги, а отрицательный результат их не приносит никогда и никому.

Вот один пример, где можно точно измерить последствия, потому что в этой области существует надёжный контрольный архив. Американский психиатр Эрик Тёрнер, работавший ранее рецензентом в Управлении по надзору за продуктами и лекарствами США, сравнил в 2008 году документы, которые производители обязаны подавать в это управление, с тем, что напечатано в журналах. Он взял все зарегистрированные испытания двенадцати антидепрессантов, в которых участвовало более двенадцати тысяч человек. Судя по журнальным статьям, удачными были 94 процента испытаний. По документам управления удачными были 51 процент. Почти все положительные испытания вышли в печать, а отрицательные либо не были опубликованы, либо поданы так, что выглядели удачными. Средняя величина эффекта в опубликованном виде оказалась примерно на треть выше настоящей. Заметим, что вывод здесь не в том, что эти лекарства бесполезны: обычно они всё же превосходят плацебо. Вывод в другом: врач, добросовестно прочитавший всю литературу и следующий ей, располагал искажённой картиной. И он никак не мог этого знать.

Что всё это значит для вопроса, с которого начался том? Обычно, когда говорят о силе, вытесняющей проверку, подразумевают внешнюю власть: начальство, запрещающее неудобное. Пример Бема показывает другой её вид, гораздо менее заметный. Журнал, рецензенты, авторитетные коллеги, комиссия по присуждению грантов — всё это и есть то, что принято называть научным сообществом. В сообщество обычно предлагают верить. Если мнение сообщества считать последней инстанцией, то выводы о том, как поведение человека незаметно меняется от случайно прочитанного слова, следовало принимать и в 2005 году, поскольку они были в учебниках и на них ссылались тысячи работ. Не сообщество установило их ненадёжность. Её установили конкретные люди, которые взяли и проверили, зачастую вопреки сообществу, рискуя репутацией и получая упрёки в недоброжелательности и в «методологическом терроризме». Это выражение тоже прозвучало. Голос сообщества здесь ничего не проверяет: это только свод того, что уже прошло через ворота, которые могут быть устроены плохо. В любой стране и при любом строе у таких ворот есть свои хозяева, у которых есть свои интересы. Мы вернёмся к этому в двенадцатой главе. Но пока важно отметить, что наш вывод касается всей картины: на чьей бы стороне ни находилось большинство голосов, вопрос решается не их количеством.

Здесь полезно вспомнить и о другом. Заблуждения, о которых идёт речь, были не только в головах ведущих учёных. Они были встроены в программу подготовки: во всех странах студентов обучали статистике как обряду. Это обстоятельство может объяснить, почему реформа так медленно идёт и почему многие из тех, кто мог бы её поддержать, встречают её с раздражением: она объявляет ошибочным то, чему они сами учили, и то, на чём выросла их карьера.

Возражения и что осталось

Есть ли вообще кризис? Итальянский исследователь науки Даниэле Фанелли, много лет изучавший смещения в научной литературе, в 2018 году выступил в журнале Национальной академии наук США с неожиданным заявлением. Рассказ о кризисе, считает он, сам по себе преувеличен. Ненадёжность распределена очень неравномерно: она высока в одних областях и у одних типов работ, и невелика в других. Нет надёжных свидетельств того, что положение ухудшается со временем. А подделки редки, и связь смещений с давлением публикаций не столь проста. Рост числа отзывов статей говорит скорее об улучшении контроля. И спрашивает, нужна ли вообще риторика кризиса: что если учёные, повторяющие на каждом углу, что наука сломана, лишь снабжают аргументами тех, кому она мешает? Мы видели, что Гилберт оспаривал и саму статистику Носека. Дополнительно указывают, что повторение никогда не бывает точным. Опыт на студентах в Вирджинии 2013 года иной, чем на студентах в другом месте и в другое время, и в психологии такая разница может значить многое.

Эти возражения следует принять, но принять в точных границах. Единой цифры ненадёжности для всей науки не существует. Слова «вся наука сломана» ложны, и это очень важно для следующих глав. Спектроскопию, расчёт орбит, картирование геномов и большую часть инженерных основ они вообще не затрагивают. Ссылка же на тонкие различия условий имеет свою цену: если эффект исчезает при незначительной перемене места, времени и людей, то объявленный общий закон поведения человека надо по меньшей мере сильно сузить. Если в статье написано «люди склонны к тому-то», а не «определённые студенты в определённом кампусе в определённом году», то автор сам взял на себя обязательство, что его вывод переносим.

Тут особенно полезно сравнение с физикой, потому что её часто приводят как образец. У физиков принят гораздо более строгий порог для объявления открытия: так называемые пять сигм, что соответствует вероятности примерно один на три с половиной миллиона. Именно такой уровень был достигнут при объявлении бозона Хиггса в 2012 году. Но и у них всё не так уж просто. В сентябре 2011 года коллаборация OPERA сообщила, что нейтрино прилетают из Женевы в итальянскую лабораторию на шестьдесят наносекунд раньше, чем позволяет скорость света. Статистическая значимость была выше шести сигм. Авторы не утверждали открытия и прямо просили проверить их работу. Причина обнаружилась через несколько месяцев: плохо подключённый оптоволоконный кабель и неточный тактовый генератор. Значимость в сколько угодно сигм, как видим, не спасает от систематической ошибки, и вот о чём предупреждал Фишер, говоря о повторении смещённого опыта. Разница с психологией не в статистике, а в другом: физики сразу знали, что результат противоречит огромному массиву других данных, что считать его верным стоит только при исключении всего остального, и могли проверить это на других приборах. Априорная вероятность была низкой, и её никто не смел не учитывать.

И у физиков бывало самообольщение коллективного масштаба. В 1903 году французский физик Рене Блондло, серьёзный учёный, открыл новый вид излучения, названный им N-лучами. За пару лет появились сотни статей десятков авторов, которые тоже их наблюдали, а регистрировались лучи по слабому изменению яркости, то есть в значительной мере на глаз. Всё кончилось, когда американский физик Роберт Вуд, приехавший в лабораторию, незаметно вынул в темноте из прибора призму, без которой ничего не должно было работать, и наблюдатели продолжали видеть то же самое. Так что дело не в том, что психологи глупее физиков. Дело в том, что для физиков такая проверка оказалась сравнительно дешёвой и что призму можно вынуть, а поведение людей настолько зависит от обстоятельств, что вынуть там почти нечего.

Что считать повторением. Поппер ещё в «Логике научного открытия» писал, что невоспроизводимые единичные события не имеют для науки значения. Звучит как трюизм, но на деле из этого не следует, что понятно, чем одно событие отличается от другого. Психологи различают прямое повторение, при котором как можно точнее воспроизводят прежнюю процедуру, и концептуальное, при котором проверяют ту же идею иным способом. Концептуальные повторения считались более почётными: они показывают широту идеи. Но у них есть коварное свойство. Если такой опыт удался, он считается подтверждением. Если не удался, можно сказать, что новая процедура просто не подходит, и никто не сочтёт это опровержением. Значит, при такой практике концептуальное повторение может только прибавить, но никогда не убавить. Эта асимметрия означает, что целое направление могло строить сотни взаимно подтверждающих работ и ни разу не поставить свой исходный результат под настоящую угрозу. Вот почему прямые повторения, казавшиеся скучными, оказались столь важны: не потому, что они заменяют разнообразие свидетельств, о котором мы говорили в первой главе, а потому, что только они способны дать неудачу, которую нельзя списать на различие условий.