скачать книгу бесплатно
Убийственные большие данные. Как математика превратилась в оружие массового поражения
Кэти О'Нил
Цифровая экономика и цифровое будущее
Математические алгоритмы с каждым днем все сильнее подчиняют себе нашу жизнь. Более того: по мнению автора книги, профессора математики и финансового аналитика, эти алгоритмы уже превратились в опасное оружие в руках государства и корпораций – и это оружие нацелено в первую очередь на самые бедные и незащищенные слои населения. Новейшие математические приложения, с помощью которых банки и страховые компании отслеживают каждый наш шаг, претендуют на полную объективность, однако на самом деле в них заложены те же предрассудки и предубеждения, что свойственны их создателям – далеким от совершенства человеческим существам. При этом скрытые принципы работы математических моделей и их тайные критерии охраняются как величайшая коммерческая тайна, а их вердикты, подчас очевидно ошибочные и явно вредные, считаются окончательными и обжалованию не подлежат. Добро пожаловать в прекрасный новый мир – мир убийственных Больших данных!
Кэти О'Нил
Убийственные большие данные. Как математика превратилась в оружие массового поражения
Cathy O’Neil
Weapons of Math Destruction: How Big Data Increases Inequality and Th reatens Democracy
© Cathy O’Neal, 2016, 2017
© Перевод. В. Дегтярева, 2017
© Издание на русском языке AST Publishers, 2018
* * *
Посвящается всем аутсайдерам
Благодарности
Спасибо моим мужу и детям за их невероятную поддержку. Также спасибо Джону Джонсону, Стиву Уолдману, Маки Инаде, Беки Джефф, Аарону Абрамсу, Джули Стил, Карен Бернс, Мэтту ЛаМаните, Марте Пун, Лизе Рэдклифф, Льюсу Дэниелу и Мелиссе Билски. И, наконец, спасибо людям, без которых эта книга не могла бы родиться: Лоре Стросфелд, Аманде Кук, Эмме Берри, Джордану Элленбергу, Стивену Бейкеру, Джею Мэнделу, Сэму Кансон-Бенанаву и Эрни Дэвису.
Вступление
В детстве я любила высматривать из окна машины номерные знаки других автомобилей. Я делила их на базовые элементы – числа, из которых они состояли. 45=3?3?5. Этот процесс, который называется разложением на множители, был моим любимым познавательным времяпрепровождением. Математика уже тогда очень меня интересовала, и особенно я была заинтригована простыми числами.
Моя любовь к математике постепенно переросла в страсть. В четырнадцать лет я отправилась в математический лагерь и вернулась домой, прижимая к груди кубик Рубика. Математика дала мне аккуратное, уютное убежище, где можно было укрыться от хаотичности реального мира. Математика двигалась вперед, ее поле знаний постоянно расширялось, от доказательства к доказательству. Я чувствовала, что могу сделать и свой вклад. Я изучала математику в колледже, и степень доктора философии получила тоже в области математики. Темой моей диссертации была алгебраическая теория чисел – область, основанная на разложении на множители, которое так интересовало меня в детстве. В конце концов я стала профессором в Барнард-колледже, математический факультет которого объединен с Колумбийским университетом.
А затем я резко изменила свою жизнь: ушла из колледжа и устроилась на работу специалистом по количественному анализу в один из крупнейших хедж-фондов – фонд David E. Shaw. Уйдя из академического заведения в мир финансов, я перенесла математику из абстрактной теории в практику. Операции, которые мы производили с цифрами, воплощались в триллионы долларов, перетекающих с одного счета на другой. Сначала я была ошеломлена и взбудоражена работой в этой новой лаборатории глобальной экономики. Но осенью 2008 года, не успела я проработать в этой области год с небольшим, экономика начала рушиться.
Это крушение продемонстрировало, что математика, когда-то бывшая моим убежищем, не только оказалась глубоко вовлечена в мировые проблемы, но и послужила причиной многих из них. Жилищный кризис, коллапс основных финансовых институтов, рост безработицы – все это произошло благодаря содействию и подстрекательству со стороны математиков, выдававших волшебные формулы. Более того – благодаря невероятной мощи, которую я так любила, математика смогла объединиться с технологиями, что привело к умножению хаоса и несчастий, а также к росту эффективности и масштабности систем, которые я теперь считаю ущербными.
Если бы мы проявили больше здравомыслия, мы отступили бы в тот момент на шаг назад, выяснили, как именно математика была использована во вред и что нужно сделать, чтобы предотвратить подобную катастрофу в будущем. Но вместо этого сразу после кризиса появились еще более крутые математические технологии, распространившиеся на новые области. С помощью этих технологий мы круглосуточно перерабатывали петабайты информации, большая часть которой была взята из социальных сетей или с сайтов интернет-магазинов. И анализ этих данных все больше сосредоточивался не на движениях глобальных финансовых рынков, а на людях – то есть на нас с вами. Математики и статистики изучали наши желания, перемещения и финансовые возможности. Они прогнозировали нашу кредитоспособность и оценивали наш потенциал в качестве студентов, работников, любовников, преступников-рецидивистов.
Это была экономика Больших данных, и она сулила потрясающие возможности. Компьютерная программа могла просмотреть тысячи резюме или кредитных заявок и за одну-две секунды разложить их по аккуратным спискам, поместив наверх самых многообещающих кандидатов. Это не только экономило время, но и считалось справедливым и объективным. Ведь в основе этой системы – не полные предубеждений человеческие существа, копающиеся в бумажных кипах, а машины, обрабатывающие бесстрастные цифры. Примерно к 2010 году математика утвердила себя в человеческих делах с небывалым ранее запасом прочности – и люди в большинстве своем это приветствовали.
Однако я увидела здесь проблему. Усиленные математикой приложения, на которых работала экономика данных, были основаны на выборе, сделанном несовершенными человеческими существами. Иногда выбор, без сомнения, делался из лучших побуждений. Но многие из этих моделей вставляли предубеждения, непонимание и предвзятость, свойственные каждому живому человеку, в программное обеспечение, которое во все большей степени управляло нашими жизнями. Подобно богам, эти математические модели были загадочными, а принцип их работы – непонятным ни для кого, кроме высшей касты – математиков и специалистов в области компьютерных наук. Их вердикты, даже неправильные и наносящие вред, оказывались вне рамок обсуждения и за пределами обжалования. И в их работе проявлялась тенденция к наказанию бедных и угнетенных слоев населения в нашем обществе, в то время как богатые становились еще богаче.
Я подобрала название для таких вредоносных моделей: оружие математического поражения, или сокращенно ОМП. Сейчас мы с вами разберем один пример, и я продемонстрирую разрушительные возможности этого оружия.
Как часто бывает, все началось с благой цели. В 2007 году Адриан Фенти, новый мэр Вашингтона, решительно взялся за улучшение недостаточно успешных школ. Перед ним стояла непростая задача: в то время половина старшеклассников едва дотягивала до конца девятого класса и лишь 8 % восьмиклассников осваивали соответствующую их возрасту программу по математике. Фенти нанял реформатора в области образования Мишель Ри и назначил ее на высокую должность председателя городского школьного совета Вашингтона.
Основной причиной, по которой ученики не получали знаний в достаточном количестве, считалось низкое качество преподавания. Поэтому в 2009 году Ри привела в действие план по «выкорчевыванию» плохих учителей. Этот процесс вскоре распространился на всю страну, затронув районы с наиболее проблемным образованием. И с точки зрения системного проектирования план был идеальным: давайте оценим учителей, избавимся от самых плохих и поместим самых лучших туда, где они смогут принести больше всего пользы. Говоря языком специалистов по анализу данных, это «оптимизирует» школьную систему, предположительно обеспечив лучшие результаты для детей.
Кто стал бы с этим спорить, кроме самих «плохих» учителей? Ри разработала инструмент оценки учителей под названием IMPACT, и к концу 2009–2010 учебного года федеральный округ уволил всех преподавателей, чьи результаты оказались в нижних 2 %. К концу следующего учебного года еще 5 %, то есть 205 учителей, были уволены из школ.
У Сары Высоцки, учительницы пятого класса, казалось бы, не было повода для беспокойства. Она преподавала в средней школе Макфарланда всего два года, но уже удостоилась высоких оценок своей работы и от директора школы, и от родителей своих учеников. В одном отзыве подчеркивалось ее внимание к детям, в другом было отмечено, что «она – одна из лучших учительниц, с которыми мне когда-либо доводилось сталкиваться».
Однако в конце 2010–2011 учебного года Высоцки получила крайне низкий результат в тесте IMPACT. Проблема заключалась в новой системе подсчета, известной как моделирование коэффициента улучшения знаний учеников, которая оценивала эффективность преподавания математики и языковых навыков. Этот результат, выданный алгоритмом, составлял половину общей оценки Сары Высоцки – и он перевесил положительные оценки со стороны школьной администрации и местного сообщества. У округа не осталось выбора, кроме как уволить ее вместе с другими 205 учителями, результат теста у которых оказался ниже минимального порога.
Это не выглядело ни охотой на ведьм, ни сведением счетов. В таком подходе городского школьного совета есть логика. В конце концов, администраторы могут просто дружить с очень плохими учителями. Они могут восхищаться их стилем или лояльностью. Плохие учителя вполне могут производить впечатление хороших. И в Вашингтоне, как и во многих других школьных округах, минимизировали фактор человеческой предвзятости и сосредоточились на результатах, основанных на объективных данных: достижения детей в математике и чтении. Официальные лица пообещали, что цифры будут говорить сами за себя, что цифры более справедливы.
Разумеется, Высоцки посчитала цифры ужасно несправедливыми и захотела узнать, откуда они взялись. «Я не думаю, что кто-либо понимал это», – позже сказала она мне. Как хороший учитель может получить такой ужасный результат? В чем заключалась система подсчета увеличения коэффициента знаний учеников?
Дело оказалось весьма запутанным. Школьный округ пригласил консалтинговую компанию Mathematica Policy Research (MPR) из Принстонского университета, чтобы она помогла разработать критерии оценки. Задачей MPR было оценить прогресс в образовании учеников округа, а затем подсчитать, в какой степени улучшение или ухудшение их результатов зависело от учителей. Задача, конечно, была непростой. Исследователи знали, что на результаты может повлиять множество факторов, от социально-экономической ситуации до специфических индивидуальных нарушений способности к обучению. Алгоритмы MPR должны были учитывать эти факторы, и это было одной из причин, по которой они оказались такими сложными.
И в самом деле, попытки вместить человеческое поведение, деятельность и потенциал в алгоритмы – это непростая работа. Чтобы понять, с чем пришлось столкнуться MPR, представьте себе десятилетнюю девочку, которая живет в бедном квартале на юго-востоке города Вашингтон. В конце учебного года она сдает стандартизированный тест для пятого класса. После этого ее жизнь продолжается. У нее могут появиться семейные или финансовые проблемы. Она может переехать в другой дом или переживать за брата, у которого возникли проблемы с законом. Она может страдать из-за собственного лишнего веса или бояться какого-нибудь школьного хулигана. В любом случае в следующем году она сдает еще один стандартизированный тест, теперь уже предназначенный для шестиклассников.
Если вы сравните результаты двух тестов девочки, количество набранных баллов должно остаться стабильным или, в лучшем случае, увеличиться. Но если она наберет меньше баллов, чем в прошлом году, будет очень просто увидеть разницу между ее результатами и результатами более успешных учеников.
Но насколько эта разница возникла по вине учителя? Сложно сказать, и модели MPR располагают лишь несколькими числами для сравнения. В компаниях Больших данных, таких как Google, напротив, исследователи проводят постоянные тесты и отслеживают тысячи переменных. Они могут изменить шрифт рекламного объявления с синего на красный, испытать каждую версию на десяти миллионах пользователей и отследить, на какую из версий пришлось больше кликов. Они используют этот отклик, чтобы оттачивать свои алгоритмы и их действия. И хотя у меня есть много претензий к Google (до этого мы еще доберемся), нельзя не признать, что такой тип тестирования – это эффективное использование статистики.
Попытка подсчитать, какое воздействие один человек может иметь на другого в течение учебного года, – гораздо более сложная задача. «Есть столько факторов, которые вмешиваются в процесс обучения, что проанализировать их крайне сложно», – говорит Высоцки. Более того, попытка оценить эффективность учителя, проанализировав результаты тестов всего лишь 25 или 30 учеников, статистически несостоятельна и просто смехотворна. Эти числа слишком малы, учитывая потенциальное количество вариантов, в которых «что-то пошло не так». В самом деле, если бы мы анализировали учителей со статистической тщательностью интернет-поисковика, нам пришлось бы привлечь для теста тысячи или даже миллионы случайно выбранных учеников. Специалисты по статистике оперируют большими числами, чтобы сбалансировать исключения и аномалии. (И ОМП, как мы увидим, зачастую наказывает тех, кто оказывается исключением.)
Что не менее важно, статистические системы требуют ответной реакции – чтобы вовремя увидеть, что алгоритмы сбились с курса. Специалисты по статистике используют ошибки, чтобы «натренировать» свои модели и сделать их более интеллектуальными. Если Amazon.com в результате ошибочной корреляции начнет предлагать девочкам-подросткам книги по уходу за лужайками, количество кликов резко снизится – и алгоритм будет оттачиваться, пока заново не настроится. Без обратной связи, однако, статистический механизм может и дальше работать с ошибками и искажать анализ, при этом не обучаясь на этих ошибках.
Многие компоненты ОМП, которые я буду обсуждать в этой книге, включая систему оценки прогресса учеников, введенную школьным округом Вашингтона, ведут себя именно так. Они предлагают собственное определение реальности и исходят из него, чтобы оправдать свои результаты. Это самовозобновляющийся, крайне деструктивный – и весьма распространенный тип модели.
Когда система оценивания MPR объявляет Сару Высоцки и 205 других учителей бездарностями, город их увольняет. Но откуда система узнает, что она выдала правильный результат? Ниоткуда. Сама система определила их как бездарностей – и именно в таком качестве они и рассматриваются. Двести шесть «плохих» учителей уходят. Один этот факт призван продемонстрировать эффективность оценивающей модели – ведь она избавляет школьный округ от недостаточно хорошо работающих учителей. Вместо того чтобы искать правду, система оценки становится ее воплощением.
Это один из примеров петли обратной связи ОМП. В этой книге мы увидим и множество других примеров подобных петель. Работодатели, например, все более широко используют кредитную историю соискателей для оценки потенциальных новых работников. Считается, что люди, которые вовремя платят по кредитам, с большей вероятностью будут следовать правилам и не опаздывать на работу. На самом деле есть множество ответственных людей и хороших работников, которым случалось пережить неудачное стечение обстоятельств, от которых пострадала их кредитная история. Но убеждение в том, что плохая кредитная история коррелирует с плохим исполнением рабочих обязанностей, оставляет людям, имевшим проблемы с выплатами кредитов, гораздо меньше шансов найти работу. Безработица подталкивает их к бедности, что еще сильнее ухудшает их кредитную историю – и еще сильнее понижает шансы на получение работы. Это спираль, ведущая вниз. Работодатели никогда не узнают о том, какое количество хороших работников они потеряли из-за того, что сосредоточились на кредитной истории кандидатов. В ОМП многие вредные установки прикрываются математикой – и с этого момента практически не проверяются и не подвергаются критическому анализу.
Это подчеркивает еще одну распространенную особенность ОМП: это оружие имеет свойство наказывать бедных. Отчасти это происходит из-за того, что ОМП разработано для того, чтобы оценивать большие массы людей. Оно специализируется на больших числах, и оно дешево. Это часть его привлекательности. К богатым же людям, с другой стороны, зачастую используется индивидуальный подход. В привилегированной юридической фирме или в частном детском саду личные рекомендации и личные встречи будут значить больше и случаться гораздо чаще, чем в сети ресторанов быстрого питания или в испытывающем финансовые трудности городском школьном округе. Мы постоянно видим, что привилегированные слои обслуживаются и анализируются людьми, а массы – машинами.
Неспособность Высоцки найти хоть кого-то, кто мог бы объяснить, почему она получила столь ужасный результат, тоже говорит о многом. Вердикты от ОМП подобны велениям неких алгоритмических богов. Сама модель представляет собой черный ящик, а его содержимое – яростно оберегаемая корпоративная тайна. Это позволяет таким консультантам, как MPR, брать больше денег за свою работу, но также служит и другой цели: считается, что, если людям, которых оценивают, ничего не объяснять, они с меньшей вероятностью будут пытаться обыграть систему. Вместо этого они просто будут усердно работать, следовать правилам и молиться, чтобы модель признала и оценила их усилия. А если детали скрыты, то становится сложнее поставить под сомнение результат или опротестовать его.
Не один год учителя Вашингтона жаловались на произвольные результаты и требовали разглашения принципов подсчета. Им отвечали, что это очень сложный алгоритм, – и такой ответ сам по себе уже отпугивал многих от дальнейших попыток разобраться. К сожалению, математика пугает многих. Но учитель математики Сара Бакс продолжила добиваться правды от администратора округа Джейсона Камраса. После переписки, длившейся несколько месяцев, Камрас предложил Бакс подождать технического доклада, который должен был вот-вот поступить. Бакс ответила: «Как вы можете оценивать людей с помощью процедуры, которую вы сами не в состоянии объяснить?» Но именно такова природа ОМП. Анализ перенаправлен программистам и специалистам по статистике. А они, как правило, предоставляют слово машинам.
При всем при этом Сара Высоцки была хорошо осведомлена о том, что в формуле имели большое значение результаты стандартизированного теста ее учеников. Именно здесь она подозревала наличие ошибки. Прежде чем начать свой последний учебный год в средней школе Макфарланда, она с радостью обнаружила, что ее будущие пятиклассники на удивление хорошо справились с итоговыми тестами четвертого класса. В начальной школе Барнарда, откуда пришли многие ученики Сары, уровень чтения 29 % учащихся был определен как «продвинутый», что в пять раз превышало средний показатель по городскому школьному округу.
Однако, когда начались занятия, выяснилось, что многие из ее учеников с трудом способны прочесть простое предложение. Много позднее журналистские расследования, проведенные газетами The Washington Post и USA Today, выявили высокий уровень исправлений в ответах стандартизированных тестов в 41 школе округа, включая школу Барнарда. Высокий уровень исправленных ответов указывает на большую вероятность подделки результатов. В некоторых школах под подозрение попало до 70 % классов.
Какое отношение это имеет к ОМП? Тут важны два фактора. Во-первых, алгоритмы оценки учителя – мощный инструмент для корректировки поведения. Это, собственно, и есть цель этих алгоритмов, и в школах Вашингтона они олицетворяли собой как кнут, так и пряник. Учителя знали, что, если их ученики плохо напишут тесты, их собственные рабочие места окажутся под угрозой. Это давало учителям сильную мотивацию добиться того, чтобы их ученики нормально справились с тестами, – особенно после того, как на рынок труда обрушилась Великая рецессия. В то же время, если их студенты превзошли бы сверстников, учителя и администрация могли получить бонусы суммой до восьми тысяч долларов. Добавьте эти мощные мотивационные элементы к уликам в деле – большому количеству исправлений и аномально высоким результатам, – и вы получите основания подозревать, что учителя четвероклассников либо из страха, либо из жадности подделали результаты экзаменов своих учеников.
Таким образом, вполне вероятно, что ученики Сары Высоцки начали учебный год с искусственно завышенными результатами. В таком случае результаты их тестов в конце года вполне могли показать, что у них существенно снизился уровень результатов – то есть что учителя пятого класса недостаточно хорошо их обучали. Высоцки убеждена, что именно это с ней и случилось. Это объяснение хорошо укладывалось в наблюдения родителей, коллег и директора, которые в один голос утверждали, что она очень хорошая учительница. Если бы учительницу уволили люди, это можно было бы оспорить. У Сары Высоцки были очень веские основания для апелляции.
Но апеллировать к оружию математического поражения невозможно. Это – часть его пугающей силы. Оно ни к кому не прислушивается и ни перед кем не отступает. Оно глухо не только к лести, угрозам и уговорам, но и к логике, даже когда есть хорошие основания усомниться в информации, которая послужила основной их выводов. Да, если становится очевидно, что автоматическая система выдает настолько неверные результаты, что это бросается в глаза, программисты все-таки доработают алгоритмы. Но по большей части программы изрекают вердикты, не подлежащие обжалованию, а обслуживающие их люди могут только пожимать плечами, словно хотят сказать: «Ну что же тут поделаешь?»
Именно этот ответ Сара Высоцки и получила от школьного округа. Джейсон Камрас позже сообщил Washington Post, что исправления были «подозрительными» и что цифры у ее пятого класса могли быть неверными. Но эти свидетельства не были достаточно убедительными. По его мнению, с Сарой поступили справедливо.
Видите парадокс? Алгоритм обрабатывает массу статистических данных и выдает вероятность того, что определенный человек может быть ненадежным арендатором, сомнительным заемщиком, террористом или плохим учителем. Эта вероятность выражается в результате, который может разрушить чью-то жизнь. Однако когда человек высказывает претензии к этому результату, то «подозрительные» свидетельства, могущие его оспорить, просто не принимаются во внимание. Дело должно быть железобетонным. Люди – жертвы ОМП, как мы увидим снова и снова, должны предоставить гораздо более четкие свидетельства, чем сами алгоритмы.
Пережив шок от увольнения, Сара Высоцки оставалась без работы всего несколько дней. Ее окружала масса людей, включая ее бывшего директора, которые готовы были поручиться за нее как за отличного учителя, и в результате она быстро нашла работу в школе соседнего округа, в Северной Вирджинии. Благодаря спорной модели бедная школа потеряла хорошего учителя, а богатая школа, которая не увольняет людей на основании результатов ученических тестов, этого хорошего учителя приобрела.
После ипотечного кризиса я остро осознала, насколько повсеместно распространено ОМП в банковском деле, и ту опасность, которую оно предоставляет для нашей экономики. В начале 2011 года я ушла из хедж-фонда. Позже, переименовав себя в специалиста по анализу данных, я присоединилась к стартапу в области онлайн-торговли. С этой выигрышной позиции мне было прекрасно видно, как легионы других видов ОМП ввинчиваются во все области промышленности и многие из них при этом усиливают неравенство и наказывают бедных. Оружие математического поражения находилось в самом сердце бурно развивающейся экономики данных.
Чтобы распространить информацию об ОМП, я завела блог под названием MathBabe. Моей целью была мобилизация коллег-математиков на борьбу с небрежным использованием статистики и основанных на предвзятости моделей, которые создавали свои собственные токсичные петли обратной связи. Специалисты по анализу данных, которых заинтересовал мой блог, сообщали мне о распространении ОМП в новых областях. Но в середине 2011 года, когда в Нижнем Манхэттене развернулось протестное движение «Захвати Уолл-стрит», я поняла, что нам нужно работать с более широкой аудиторией. Тысячи протестующих собрались, чтобы потребовать экономической справедливости и финансовой подотчетности. Однако, когда я услышала интервью с участниками этого движения, я обнаружила, что они зачастую не знают о самых основных проблемах, связанных с финансами. Они явно не читали мой блог. (Тут я должна добавить, что необязательно знать все детали системы, чтобы понять, что она неработоспособна.)
Я поняла, что могу либо критиковать их, либо к ним присоединиться, и выбрала второе. Вскоре я уже проводила еженедельные встречи Альтернативной банковской группы при Колумбийском университете, где мы обсуждали финансовую реформу. В ходе этого процесса я осознала, что обе мои вылазки за пределы академического мира – одна в финансы и другая в науку данных – обеспечили меня потрясающим доступом к технологиям и ОМП, приводимому в действие культурой.
Плохо продуманные математические модели в наши дни управляют экономикой везде, от рекламных кампаний до тюрем. Это ОМП обладает многими характеристиками, которые похожи на модель подсчета прогресса учеников, чуть не пустившую под откос карьеру Сары Высоцки в вашингтонских школах. Они непрозрачны, не подвергаются вопросам и сомнениям, массово распространены и занимаются тем, что сортируют, вычленяют и «оптимизируют» миллионы людей. Путая свои выводы с объективной реальностью, большинство из них создает губительные петли обратной связи ОМП.
Но есть одно важное различие между моделью подсчета увеличения коэффициента знаний учеников, созданной школьным округом, и, скажем, разновидностью оружия математического поражения, подсчитывающей перспективы выдачи микрокредитов. Они имеют разную отдачу. Для школьного округа отдача – что-то вроде политической валюты: ощущение, что задачи решаются. Но для бизнеса валюта используется самая стандартная: деньги. Для многих предприятий, применяющих эти грубые алгоритмы, притекающие к ним денежные потоки дают иллюзию доказательства того, что их модели работают. Посмотрите на ситуацию их глазами – и она для вас будет иметь смысл. Когда такие предприятия строят статистические системы, чтобы найти клиентов или манипулировать отчаявшимися заемщиками, растущий доход демонстрирует им, что они на правильном пути. Программное обеспечение хорошо делает свою работу. Проблема заключается в том, что прибыль выступает как мерило качества моделей. Мы увидим, как это опасное заблуждение будет проявляться снова и снова.
Это происходит из-за того, что специалисты по анализу данных слишком часто теряют из виду людей, для которых вроде бы предназначен этот анализ. Эти специалисты наверняка понимают, что программа, обрабатывающая данные, не может в определенном проценте случаев не дать неправильную оценку, ошибочно поместив того или иного человека в ту или иную социальную группу, что приведет к тому, что он не получит хорошую работу или шанс взять ипотеку на дом своей мечты. Но чаще всего люди, управляющие ОМП, не зацикливаются на этих ошибках. Их обратная связь – это деньги, а рост прибылей – их мотивация. Их системы разработаны так, чтобы захватывать как можно больше данных и оттачивать аналитику, обеспечивая все больший приток денег. Инвесторы, конечно же, радуются своей прибыли и осыпают компании-разработчики ОМП еще большим количеством денег.
А жертвы? Любой специалист по анализу внутренних данных скажет вам, что ни одна статистическая система не может быть идеальной. Жертвы – это сопутствующий риск. И зачастую их признают, как Сару Высоцки, всего лишь расходным материалом. Забудьте о них на минуту, скажут вам, и подумайте обо всех тех людях, которые получили полезные предложения через рекомендации от поисковиков, или нашли любимую музыку на сайте Pandora, или идеальную работу на LinkedIn, или, возможно, встретили любовь всей своей жизни на Match.com. Думайте о впечатляющих масштабах, позабудьте о мелких недостатках.
Большие данные имеют много горячих поклонников, но я к ним не отношусь. Эта книга будет острейшим образом сосредоточена на другом направлении: на том ущербе, который приносит оружие математического поражения, и на несправедливостях, которые оно порождает. Мы исследуем ущерб, который был нанесен людям в критические моменты их жизни: во время поступления в колледж, при попытках взять кредит, при вынесении им приговора в суде, в поисках работы. Все эти жизненно важные рубежи всё в большей и большей степени контролируются тайными моделями, которые произвольно наказывают людей.
Добро пожаловать на темную сторону Больших данных.
Компоненты бомбы: что такое модель?
Стоял жаркий августовский день 1946 года. У Лу Бодро, играющего менеджера команды Cleveland Indians, было отвратительное настроение. В первой из двух игр, намеченных на этот день, Тед Уильямс практически в одиночку уничтожил команду Бодро. Уильямс, возможно лучший хиттер того времени, выбил три хоум-рана и еще довел восемь игроков до домашней базы. В итоге «Индейцы» проиграли со счетом 10:11.
Бодро нужно было что-то предпринять. Поэтому, как только Уильямс вышел на поле во второй игре, игроки «Индейцев» начали быстро перемещаться. Бодро, шорт-стоп, перебежал на место, где обычно стоял второй бейсмен, а второй бейсмен отошел на правый аутфилд, третий бейсмен сдвинулся влево, к месту шорт-стопа. Было очевидно, что Бодро (возможно, эта идея была продиктована отчаянием) полностью изменил расположение своей защиты, чтобы превратить хиты Теда Уильямса в ауты.
Другими словами, Бодро мыслил как специалист по анализу данных. Он проанализировал предварительные данные, по большей части на основе наблюдений: обычно Тед Уильямс делал подачу в правый аутфилд. Затем он предпринял меры – и они сработали. Игроки стали ловить больше мощных лайнеров Уильямса (хотя они по-прежнему ничего не могли сделать с хоум-ранами, пролетающими над их головами).
Если вы сегодня придете на бейсбольную игру высшей лиги, вы увидите, что защита относится практически к каждому игроку противника как к Теду Уильямсу. Если Бодро просто пронаблюдал за тем, куда Уильямс обычно направлял удар, то сейчас менеджеры точно знают, куда каждый игрок направлял удар в течение последней недели, за последний месяц, за всю карьеру, играя против левшей, в ситуации, когда у него было два страйка, и так далее и тому подобное. Используя эту собранную информацию, они могут проанализировать текущую ситуацию и рассчитать расстановку игроков, дающую наибольшую вероятность успеха. Иногда это включает в себя довольно-таки существенные перемещения игроков по полю.
Перенос защиты – лишь часть гораздо более серьезного вопроса: какие шаги могут предпринять бейсбольные команды для максимизации вероятности победы? В поисках ответа на этот вопрос специалисты по бейсбольной статистике изучили каждую переменную, которую смогли количественно измерить, и присвоили ей определенную ценность. Насколько дабл ценнее сингла? Когда, если вообще когда-либо, имеет смысл использовать сэкрифайс-бант для перемещения раннера с первой на вторую базу?
Ответы на все эти вопросы смешаны и объединены в математические модели этого спорта. В мире бейсбола существуют параллельные вселенные, и каждая из них представляет собой сложное вероятностное полотно. Они включат в себя каждое измеримое отношение между каждым спортивным компонентом, от уоков и хоум-ранов и до самих игроков. Цель модели – просчитать разные сценарии на каждой развилке и найти оптимальные комбинации. Если Yankees поставят питчера-правшу против сильного отбивающего Майка Траута из Angels, в сравнении с их текущим питчером – кто с большой вероятностью его выбьет? И как это повлияет на общую вероятность победы?
Бейсбол – идеальная база для предиктивного математического моделирования. Как писал Майкл Льюис в своем бестселлере Moneyball (2003)[1 - Moneyball. Как математика изменила самую популярную спортивную лигу в мире / пер. Натальи Воронцовой. М.: Манн, Иванов и Фербер, 2013.], этот спорт привлекал самых увлеченных аналитиков данных на протяжении всей его истории. В прошлом фанаты изучали статистику по оборотным сторонам бейсбольных карточек, анализируя закономерности хоум-ранов Карла Ястржемски или сравнивая общее количество страйк-аутов Роджера Клеменса и Дуайта Гудена. Но начиная с 1980-х годов за дело взялись серьезные специалисты по статистике – они начали разбираться, что же, собственно, означают все эти цифры вместе с огромным количеством новых данных: как именно они конвертируются в победы и как руководство команды может достичь максимального успеха при минимальных вложениях.
Сегодня термин moneyball («денежный мяч») служит условным обозначением любого статистического подхода в областях, где в течение долгого времени господствовала исключительно интуиция. Но пример бейсбола – это пример здорового анализа, который я привела для контраста с более токсичными примерами анализа, которые я считаю действием ОМП и которые появляются во все большем количестве областей нашей жизни. Бейсбольные модели справедливы, в частности, из-за своей прозрачности. Любой человек располагает доступом к статистике и может более или менее понять, как она интерпретируется. Да, конечно, модель одной команды может придавать больше ценности хоум-раннерам, в то время как другие могут их слегка недооценивать из-за того, что сильные отбивающие имеют тенденцию к большому количеству страйк-аутов. Но в любом случае информация о числе хоум-ранов и страйк-аутов доступна для всех интересующихся.
Кроме того, в бейсболе есть статистическая строгость. Его гуру располагают огромным количеством информации, и практически вся она напрямую касается манеры игроков. Более того, эта информация имеет непосредственное отношение к результатам, которые эти гуру пытаются предсказать. Это может показаться очевидным, но, как мы увидим на страницах этой книги, люди, создающие оружие математического поражения, испытывают постоянный дефицит информации как раз о тех типах поведения, которые их больше всего интересуют. В результате они подставляют вместо информации ее подмену (прокси). Они проводят статистические корреляции между чьим-то почтовым кодом или манерой речи и способностью этого человека выплатить кредит или справиться с рабочими обязанностями. Эти корреляции дискриминационны, а некоторые из них и незаконны. Бейсбольные модели по большей части не используют прокси из-за того, что они располагают фактической информацией: мячами, страйками и хитами.
Но самое главное – поток этой информации постоянно обновляется благодаря статистике, собираемой с 12–13 игр ежедневно с апреля по октябрь. Специалисты по статистике могут сравнить результаты этих игр с предсказаниями своих моделей – и увидеть, где они были не правы. Возможно, они предсказали, что реливер-левша пропустит много хитов от бэттеров-правшей – а он в результате их разгромил. В этом случае статистики пытаются подправить свою модель и пристально изучают, как и почему они ошиблись. Возможно, это новый крученый мяч питчера повлиял на их статистику? Или этот питчер лучше играет по вечерам? Все, что они узнают, они снова загрузят в модель, чтобы еще тоньше настроить ее. Именно так работают модели, заслуживающие доверия. Они постоянно взаимодействуют с миром, который они пытаются понять или предсказать. Если условия меняются – модель должна меняться вместе с ними.
Посмотрев сейчас на бейсбольную модель с ее тысячами переменных, вы можете задуматься: как вообще можно сравнивать ее с моделью, использованной для оценки учителей в школах Вашингтона? Первая моделирует спортивную игру в мельчайших деталях и постоянно обновляется. Вторая, при всей ее таинственности, опирается из года в год на результаты горстки тестов. Можно ли вообще называть ее моделью?
Ответ – да. Любая модель, в конце концов, есть не что иное, как абстрактное представление какого-то процесса, будь то бейсбольная игра, цепочка поставщиков нефтяной компании, действия иностранного правительства или посещаемость кинотеатра. Загружена ли она в компьютерную программу или хранится в нашей голове, модель берет наши знания и использует их для того, чтобы предсказать будущие результаты процесса в разных ситуациях. Все мы держим в уме тысячи моделей. Они подсказывают, чего нам ожидать, и руководят нашими действиями.
Вот неформальная модель, которую я использую ежедневно. Будучи мамой троих детей, я сама готовлю еду – мой муж, милейший человек, каждый раз забывает посолить макароны. Каждый вечер, когда я начинаю готовить ужин на всю семью, я внутренне и интуитивно моделирую аппетит каждого домочадца. Я знаю, что один из сыновей любит курицу (но ненавидит гамбургеры), а другой ест только пасту (с дополнительной порцией тертого пармезана). Но я также принимаю во внимание то, что их аппетиты меняются в разные дни – поэтому в мою модель может вкрасться ошибка. В ней всегда будет неизбежный элемент неопределенности.
В мою модель вкладывается информация о моей семье, об ингредиентах, которые у меня уже имеются или мне доступны, а также моей собственной энергии, времени и амбициях. На выходе я получаю решение, что и как мне приготовить. Я оцениваю успех ужина степенью удовлетворенности моей семьи, а также количеством съеденного и тем, насколько еда была здоровой. То, насколько хорошо принимают приготовленную мной еду и сколько ее съедают, позволяет мне обновить свою модель к следующему приготовлению ужина. Обновления и уточнения делают модель динамической – так это называется в статистике.
С гордостью могу сказать, что со временем я научилась очень неплохо готовить для своей семьи. Но представьте, что нам с мужем нужно уехать на неделю, а мне понадобится объяснить свою модель моей маме, чтобы она смогла меня заменить? Или если моя многодетная подруга заинтересовалась моим подходом? В этот момент я попытаюсь придать моей модели какие-то более формальные черты, сделать ее более систематической – и, в каком-то смысле, более математической. Если у меня хватит амбиций, я даже могу создать на ее основе компьютерную программу.
В идеале такая программа учтет все возможные варианты ингредиентов, их питательность и стоимость, а также будет включать полную базу данных о вкусах моей семьи, все любимые и нелюбимые блюда и продукты моих домочадцев. Однако мне будет не так уж просто взять и извлечь всю эту информацию из собственной головы. Да, у меня полно воспоминаний о том, как кто-то попросил добавку спаржи или заявил, что терпеть не может стручковую фасоль, но эти воспоминания перемешаны – мне будет сложно свести их в один список.
Лучшим решением станет доработка модели с течением времени – ежедневный ввод информации о том, что я купила и приготовила, и какой отклик от каждого члена семьи получила. Я смогу также задавать те или иные параметры и ограничения. Я могу ограничить по сезону фрукты и овощи, зато раздать определенное количество печенья «Поп-тартс», чтобы предотвратить открытый бунт. Можно ввести и другие параметры, запомнить, кто больше любит мясо, кто – хлеб и пасту, кто пьет много молока, а кто настаивает, чтобы любой предмет на его тарелке можно было намазать нутеллой.
Если бы я посвятила все свое время этой работе, то за несколько месяцев могла бы получить весьма неплохую модель. Я бы превратила систему приготовления еды, хранящуюся в моей голове, – мою неформальную внутреннюю модель – в формальную внешнюю. В этой модели я бы вынесла наружу, во внешний мир, свои знания и умения. Я бы построила автоматическую версию себя, которой могли бы воспользоваться другие люди даже в мое отсутствие.
Однако в ней всегда бы были ошибки, потому что любые модели всегда представляют собой упрощения. Ни одна модель не может включить в себя всю сложность мира или нюансы человеческого общения. Какая-то важная информация неизбежно оказывается упущенной. Возможно, я бы забыла сообщить своей модели о том, что правило запрета на фастфуд менее строго соблюдается в дни рождения или что сырая морковка пользуется большей популярностью, чем вареная.
Чтобы создать модель, таким образом, мы делаем выбор и решаем, что достаточно важно для включения в нее. Мы упрощаем мир до его игрушечной версии, которая может быть легко понята и из которой мы можем извлечь важные факты и действия. Мы ожидаем от модели выполнения только одной работы и заранее смиряемся с тем, что иногда она будет работать бестолково, с огромными пробелами.
Иногда пробелы не имеют значения. Когда мы запрашиваем у Google Maps маршрут, программа моделирует мир как набор улиц, туннелей и мостов. Она игнорирует здания, потому что те не имеют отношения к задаче. Когда авиационное программное обеспечение управляет самолетом, оно моделирует ветер, скорость самолета и посадочную полосу внизу, но игнорирует улицы, туннели, здания и людей.
Пробелы модели отражают суждения и приоритеты ее создателей. И хотя выбор при составлении Google Maps и авиационного программного обеспечения кажется очевидным, в других случаях он гораздо более проблематичен. Если мы вернемся к примеру вашингтонских школ, их модель подсчета увеличения коэффициента знаний учеников оценивает учителей по большей части на основе данных тестов учеников, игнорируя такие факторы, как вовлеченность учителя в процесс, его работу над определенными навыками, классное руководство и помощь ученикам в их личных и семейных проблемах. Она слишком проста и жертвует точностью и охватом во имя эффективности. При этом, с точки зрения администраторов, она предоставляет эффективное орудие для выявления сотен якобы негодных учителей – даже если существует риск неверной интерпретации профессионализма некоторых из них.
Здесь мы видим, что модели, несмотря на их кажущуюся непредвзятость, отражают заложенные в них цели и идеологию. Когда я исключала возможность поедания печенья за каждым приемом пищи, я переносила свою идеологию на модель еды. Это то, что все мы делаем машинально, не задумываясь. Наши собственные ценности и желания влияют на наш выбор, от данных, которые мы предпочитаем собирать, до вопросов, которые мы задаем. Модели – это мнения, заключенные в математическую форму.
Работает модель или нет – это также вопрос субъективный. В конце концов, ключевой компонент каждой модели, как формальной, так и неформальной, – это ее критерий успеха. Это важный пункт, к которому мы вернемся, когда будем исследовать темный мир ОМП. В каждом случае мы должны спросить не только о том, кто разработал модель, но также чего именно он пытался достичь. Если правительство Северной Кореи возьмется, например, построить модель для моих семейных ужинов, то эта модель, вероятно, будет оптимизирована таким образом, чтобы держать нас чуть выше порога полного истощения, минимизируя при этом затраты и число доступных ингредиентов. Понятно, что наши личные предпочтения при этом будут значить мало или вообще ничего. С другой стороны, если бы эту модель составляли мои дети, то критерием ее успешности стало бы мороженое на завтрак, обед и ужин. Моя собственная модель пытается объединить северокорейское управление ресурсами и благополучие моих детей, а также мои собственные представления о здоровье, удобстве, разнообразии и экологичности. В результате она оказывается более сложной, но все еще отражает мою личную реальность. А модель, построенная в соответствии с сегодняшним днем, завтра будет работать еще хуже. Если ее постоянно не обновлять, она застынет и устареет. Цены меняются, предпочтения растущих детей тоже. Модель, построенная для шестилетки, не сработает для подростка.
То же самое верно и для внутренних моделей. Вы часто можете видеть, как возникают проблемы у дедушек и бабушек, которые навещают давно не виденную ими внучку. Во время предыдущего визита они собрали информацию о том, что она знает и умеет, что вызывает у нее смех, какие телепередачи она любит, – и (подсознательно) построили модель под эту конкретную четырехлетнюю девочку. Однако во время следующей встречи через год они могут столкнуться с неловкой ситуацией из-за того, что их модель устарела. Например, ей больше не нравится Паровозик Томас. Потребуется время, чтобы собрать новую информацию о внучке и перенастроить модель.
Это не означает, что хорошие модели не могут быть простыми. Некоторые очень эффективные модели основываются на единственной переменной. Самая распространенная модель по обнаружению пожара в доме или офисе, например, учитывает единственный, зато непосредственно имеющий отношение к проблеме фактор – наличие дыма. Обычно этого достаточно. Но создатели моделей сталкиваются с проблемами – или сталкивают нас с этими проблемами, – когда они проецируют такие простые модели, как пожарная сигнализация, на людей.
Расизм на индивидуальном уровне может рассматриваться как предиктивная модель, распространившаяся в сознании миллиардов людей по всему миру. Она основана на ошибочной, неполной или обобщенной информации. Информация, основанная на опыте или рассказах других людей, указывает на то, что определенные люди плохо себя ведут. Это приводит к упрощенному предсказанию, что все люди той или иной расы будут вести себя таким же образом.
Нет нужды говорить, что расисты не тратят время на то, чтобы собрать надежную информацию и протестировать свои искаженные модели. Как только их модель превращается в убеждение, она становится прошивкой мозга. Она генерирует допущения, однако редко их тестирует, вместо этого подыскивая информацию, которая, как кажется расисту, их подтверждает и подпитывает. Вследствие этого расизм представляется самой неряшливой из предиктивных моделей. Он основан на небрежном сборе информации и ложных корреляциях, он усилен институциональным неравенством и загрязнен предвзятостью подтверждения. Но как это ни странно, расизм действует так же, как многие из видов оружия математического поражения, которые я буду описывать в этой книге.
В 1997 году афроамериканец Дуэйн Бак, признанный виновным в убийстве двух человек, предстал перед судьей округа Харрис, штат Техас. Судья должен был решить, приговорить преступника к смерти или к пожизненному заключению (во втором случае оставалась теоретическая возможность условно-досрочного освобождения). Прокурор настаивал на смертном приговоре, утверждая, что, если Бак когда-нибудь выйдет на свободу, он может убить снова. Адвокат Бака, со своей стороны, пригласил эксперта-психолога Уолтера Кихано, специалиста по рецидивам среди бывших заключенных. В ходе перекрестного допроса Кихано упомянул расовую принадлежность Бака, и прокурор тут же уцепилась за это:
– То есть вам удалось установить, что… что расовый фактор, принадлежность к черной расе, по различным сложным причинам увеличивает потенциальную опасность человека в будущем, правильно? – спросила она.
– Правильно, – ответил Кихано.
Прокурор подчеркнула этот факт в своей заключительной речи – и Дуэйн Бак был приговорен к смерти.
Через три года главный прокурор штата Техас Джон Корвин обнаружил, что психолог Уолтер Кихано дал подобные (основанные на расовой принадлежности) заключения в шести других случаях, когда речь шла о высшей мере наказания. Большую часть из них – выступая на стороне обвинения. Корвин, который тогда готовился к выборам в Сенат 2002 года, приказал провести повторные слушания для семи осужденных, запретив упоминать в суде их расовую принадлежность. В соответствующем пресс-релизе он писал:
Совершенно непозволительно учитывать расовую принадлежность как фактор в нашей системе правосудия… Техасцы заслуживают системы, которая обеспечивает справедливое отношение для каждого человека, – и они должны получить такую систему.
Дела шестерых осужденных были рассмотрены заново, однако все смертные приговоры были оставлены в силе: суд счел, что показания Кихано ни в одном случае не были решающими. Седьмой осужденный – Дуэйн Бак – не получил нового слушания: возможно, из-за того, что в данном случае расовый фактор выдвинул свидетель защиты. Бак все еще находится в камере смертников[2 - 3 октября 2017 года приговор Бака был все же пересмотрен: на этот раз Бак был приговорен к пожизненному заключению с правом на условно-досрочное освобождение после отбытия 40 лет срока плюс к двум одновременным 60-летним срокам за два покушения на убийство. Бак получит право на условно-досрочное освобождение в 2035 году. – Здесь и далее – примеч. науч. ред., если не оговорено иное.].
Независимо от того, насколько важен расовый фактор в обстоятельствах судебного дела, он уже довольно давно представляет собой основной фактор в вынесении приговора. Исследование Мэрилендского университета продемонстрировало, что в техасском округе Харрис, в который входит и город Хьюстон, прокуроры в три раза чаще требуют смертного приговора для афроамериканцев и в четыре раза чаще – для американцев латиноамериканского происхождения, чем для белых, которых судят за аналогичные преступления. И такое происходит не только в Техасе. В соответствии с данными Американского союза защиты гражданских свобод, судебные сроки, которые назначаются черным мужчинам в федеральной системе, на 20 % длиннее, чем сроки белых, осужденных за схожие преступления. И хотя афроамериканцы составляют всего 13 % населения США, они заполняют 40 % тюремных камер.
По-видимому, можно предположить, что математическая модель оценки рисков рецидива может уменьшить влияние человеческих предубеждений при вынесении приговоров и повлечет более справедливое отношение к подсудимым. В надежде на это суды двадцати четырех штатов стали использовать так называемые модели вероятности рецидива (recidivism models). Эти модели помогают судьям более адекватно оценить опасность, которую может представлять в будущем тот или иной осужденный. И по многим меркам такие модели – шаг вперед. Благодаря им приговоры стали более логичными и меньше подвержены настроению и предвзятости судей. К тому же эти модели экономят деньги, сокращая среднестатистический тюремный срок (на содержание одного заключенного уходит в среднем 31 000 долларов в год, а в «дорогих» штатах вроде Нью-Йорка и Коннектикута эта сумма вдвое выше).
Главный вопрос тут, однако, вот какой: в самом ли деле мы исключили фактор человеческой предвзятости или просто замаскировали его? Новые модели вероятности рецидива сложны и основаны на математике. Однако данные внутри этих моделей – целый букет допущений, причем некоторые из них основаны на предубеждениях. И если показания Уолтера Кихано были официально зафиксированы, так что их позже можно было вновь прослушать и обжаловать в суде, то принцип работы модели запрятан в алгоритмах, в которых могут разобраться лишь единичные специалисты.
Одна из самых популярных моделей, известная как Переработанная оценка уголовно-исправительной инспекции (Level of Service Inventory-Revised, LSI-R), включает в себя длинную анкету, которую должны заполнить заключенные. Один из вопросов – «Сколько предыдущих судимостей у вас было?» – имеет непосредственное отношение к риску рецидива. Некоторые другие также близко связаны с темой: «Какую роль другие люди играли в правонарушении? Какую роль играли алкоголь и наркотики?»
Но дальнейшие вопросы все больше углубляются в частную жизнь человека – и тут уже легко представить себе, как заключенные из привилегированных слоев будут отвечать одним образом, а жители криминогенных районов – совсем другим. Спросите у преступника, который вырос в престижном пригороде: «Когда вы впервые столкнулись с полицией?» – и скорее всего, окажется, что у него не было ни одного такого столкновения вплоть до того случая, который и привел его в тюрьму. Однако молодого афроамериканца полиция с высокой долей вероятности останавливала десятки раз, даже когда он не делал ничего противозаконного. Исследование Нью-Йоркского союза гражданских свобод продемонстрировало, что, хотя афроамериканцы и латиноамериканцы составляют всего 4,7 процента населения города, в 40,6 процента случаев остановке и обыску полицией подвергаются именно они. Более 90 % осмотренных таким образом оказывались невиновными. Какой-то процент из оставшихся составляют пьяные подростки или подростки, у которых нашли одну сигарету с марихуаной. Причем, в отличие от большинства богатых подростков, которые оказались бы в этой ситуации, у афроамериканцев и латиноамериканцев в этом случае начинаются неприятности. Поэтому, если ранняя встреча с полицией свидетельствует о повышенной вероятности рецидива, то получается, что выходцы из бедных кварталов и представители расовых меньшинств автоматически зачисляются в группу риска.
