Искусственный интеллект от А до Б

Можно ожидать, что темпы этой тенденции к усложнению систем будут ускоряться. Эта эволюция основных технологических тенденций была задокументирована движением «Инженерные системы». Начавшись в начале 2000-х годов, это движение признало, что технологии и современное общество тесно переплетены и что темпы технологических и социальных изменений требуют, чтобы дизайн сложных систем был адаптирован с учетом того, что эти ученые назвали «недугами». Объяснимость и интерпретируемость являются «недостатками» и сопряжены с аналогичными трудностями, связанными с их измерением. «Недуги» исторически были подвержены проблемам как многозначности, что означает, что одни и те же термины часто используются для описания различных концепций, так и синонимии, означающей, что разные термины иногда относятся к одному и тому же основополагающему конструкту. Кроме того, эти термины влекут за собой значительную социальную составляющую, которую невозможно отделить от основных ценностей пользователей, дизайнеров и лиц, принимающих решения. Наконец, «недуги» имеют сильную политическую составляющую, потому что их нельзя изучать в отрыве от их воздействия на общество, и особенно на уязвимые группы населения. Таким образом, попытки определить объяснимость и интерпретируемость в искусственном интеллекте сопоставимы с проблемами, с которыми сталкиваются ученые, изучающие другие сложные инженерные системы, для которых определения абстрактных, но важных понятий, таких как гибкость, устойчивость и т. д., сильно зависят от социальных оценок. Два десятилетия исследований в этой области показали, что эти крайне абстрактные требования может быть трудно измерить стандартным способом из-за их крайне чувствительной к контексту и социально обусловленной природы. Тем не менее, их важность оправдывает задачу установления стандартов, которые были бы достаточно гибкими, чтобы быть гибкими в различных контекстах.

Определения интерпретируемости и объяснимости, предложенные выше, основаны на десятилетиях эмпирических исследований в области экспериментальной психологии. Опираясь на эту обширную литературу, мы проводим различие между интерпретацией – процессом извлечения значения из стимула (например, результата модели) – и объяснением – процессом создания подробного описания того, как был достигнут результат. Мы утверждаем, что связь между принятием решений человеком и алгоритмическим принятием решений аналогична различным уровням ментальной репрезентации. Индивидуальные различия между людьми также последовательно предсказывают, какие люди предпочитают полагаться на эти различные представления при принятии последовательных решений, особенно о том, как использовать числовую информацию.

Интерпретируемое машинное обучение призвано помочь людям создавать интерпретации данных и выходные данные модели. Таким образом, мы рассматриваем литературу по психологии человека, относящуюся к тому, как люди получают интерпретации из стимулов, и особенно количественных. Ведущая теория в этой области, теория нечетких следов, утверждает, что люди кодируют стимулы в несколько ментальных представлений одновременно и параллельно. Эти ментальные представления отличаются друг от друга по уровню точности, при этом люди предпочитают полагаться на наименее точное представление, которое все же делает значимое различие при принятии решения.

Люди склонны принимать решения, основываясь на простейшем из этих представлений – интерпретации сути стимулов. Люди могут кодировать несколько смыслов с различными уровнями точности, формируя иерархию смыслов. В отличие от этого, алгоритмы следуют только механическим дословным процессам при составлении прогнозов. Люди также кодируют дословные ментальные представления, которые являются просто подробными представлениями самого стимула (например, исходными выходными данными системы). Эти различные уровни ментальной репрезентации стимула кодируются одновременно и параллельно. Более того, эти представления могут конкурировать друг с другом или основываться друг на друге, внося свой вклад в процесс принятия решений человеком.

Ментальные представления иерархичны по своей природе, и люди предпочитают принимать решения на основе наименее точного, часто категоричного представления стимула. Тем не менее, эти категории проводят значимые различия. Например, для чисел эти категориальные представления часто принимают форму простых контрастов, таких как «некоторый» и «никакой» величины. Причина тому видится в категорическом различии между «некоторыми» и «никакими», что является одной из самых основных сущностей. В этих обстоятельствах люди опираются на свои предыдущие знания при принятии этих решений. Например, рассмотрим набор моделей машинного обучения, предназначенных для обнаружения вредоносного поведения в Интернете. Платформа социальных сетей может использовать этот классификатор для автоматического удаления учетных записей, которые нарушают Условия предоставления услуг платформы. Специалист по информатике, оценивающий эти классификаторы, может заметить, что классификатор k-ближайшего соседа (kNN) имеет точность 52,4% в этой задаче двоичной классификации, и определить, что у него «практически отсутствует» точность прогнозирования (где 50% – это производительность случайного подбрасывания монеты). Примечательно, что эта оценка требует некоторых базовых знаний: 1) что существует только два класса; 2) что классы сбалансированы в обучающей выборке. В отличие от этого, точность двух других моделей будет выше по сравнению. И то, и другое будет иметь «некоторую» точность. В этом случае он исключил бы классификатор kNN. Однако эти сутью не просто просты – они еще и проницательны. Например, наивный байесовский классификатор имеет точность 26,7%, что, хотя и является наименьшим значением, также должно быть классифицировано как имеющее суть «некоторой точности», поскольку специалист по информатике поймет, что для двоичных классификаторов точность 26,7% эквивалентна точности 73,3%, если просто инвертировать метки классов. В противоположность этому, новичок, применяющий дословные правила, не будет разделять это понимание и может ошибочно полагать, что наивный байесовский классификатор менее прогностический, чем классификатор kNN.

При принятии решения люди должны опираться на числовые значения, чтобы определить, какая категория в бинарной паре лучше. Здесь некоторая точность – это хорошо, а отсутствие точности – это плохо. Эти двоичные валентности хранятся в долговременной памяти и составляют часть того, что человек привносит в процесс оценки.

Несколько вариантов могут иметь одну и ту же суть. Например, все модели классификаторов, кроме kNN, имеют «некоторую» точность. В данном случае категориальные классификации не делают значимых различий и поэтому не могут помочь в принятии решения. Чтобы различить эти классификаторы, можно использовать более точный уровень ментального представления. Классификатор логистической регрессии имеет «большую точность», чем другие классификаторы. "Больше" против "меньше" – это фактически порядковый номер. Однако эта суть полезна при выборе модели только при наличии одной метрики оценки. На практике модели машинного обучения можно оценивать с помощью нескольких метрик. Например, наивная байесовская модель имеет более высокую полноту, но меньшую точность, тогда как модель логистической регрессии имеет более высокую точность, но меньшую полноту. Таким образом, эти модели не могут быть ранжированы по этим измерениям, используя только порядковый номер.

Как правило, практикующие специалисты пытаются свести эти множественные метрики к одной метрике для сравнения. Процесс получения этих составных, точных метрик требует механического применения математических правил. Например, можно полагаться на составную метрику, такую как F1-оценка (т.е. гармоническое среднее точности и запоминаемости). В этом примере классификаторы логистической регрессии и наивного Байеса имеют одинаковые значения F1, что означает, что люди (или алгоритмы), полагающиеся на это дословное правило, будут безразличны между ними. Напротив, Метод опорных векторов имеет самый высокий балл F1 из трех моделей.

Означает ли это, что метод опорных векторов является лучшей моделью? Несмотря на то, что люди кодируют несколько уровней представления параллельно, мы предпочитаем принимать решения на основе имеющегося опыта, когда это возможно. Эти параметры не являются произвольными, а соответствуют значимым различиям. В случае моделей машинного обучения мы используем эти модели для достижения цели. В приведенном выше примере классификатор использовался для выявления вредоносного поведения в Интернете. В контексте этой задачи имеет смысл отдавать предпочтение точности, а не запоминанию и аккуратности, поскольку последствия ложноотрицательного результата значительно хуже, чем последствия ложноположительного. Новичок может слепо применить это правило и таким образом выбрать метод опорных векторов. Однако эксперт-человек не обязательно будет это делать. Учтите, что метод опорных векторов имеет точность 100% – «идеальный результат». Хотя кто-то, полагающийся на дословное представление, например, неопытный студент, может решить, что это наилучший возможный показатель точности, опытный специалист по моделированию поймет, что такое высокое значение может быть индикатором проблемы в реализации алгоритма. Например, можно достичь идеальной точности, если правильно классифицировать лишь очень небольшое число случаев. Соответствующая суть была бы "слишком хороша, чтобы быть правдой". Как описано выше, классификатор kNN может быть исключен, потому что он не имеет точности, которая, независимо от точности, является проблематичной. Таким образом, эксперт-человек может полагаться на порядковый номер для выбора модели с «лучшей» точностью – модели логистической регрессии – потому что контекстуальные подсказки указывают на то, что две другие модели уступают функциональному назначению, т. е. цели задачи машинного обучения. Исследования, основанные на теории нечетких следов, показали, что модели, которые подчеркивают суть, например, отображают выходные данные таким образом, чтобы пользователи могли сделать значимые выводы, вызывают большее доверие, уверенность и понимание, в этом случае ИИ будто потакает своему реальному собеседнику. Это подразумевает четкую цель проектирования для проектировщиков систем машинного обучения, которых интересует интерпретируемость – вывод системы должен передавать суть.

Один из ключевых принципов теории нечетких следов заключается в том, что люди кодируют множественные ментальные представления. В то время как интерпретации – это ментальные репрезентации, которые сообщают о новых категориальных инсайтах, объяснения – это подробные ментальные репрезентации, которые сообщают о механизмах реализации, приведших к определенному результату.

Некоторые теории объяснения подчеркивают важность вывода «причинно-следственной цепи», ведущей к выходу конкретной модели. Обзор объяснений в человеческом познании, сделанный Ломброзо, также указывает на то, что каузальные структуры являются одним из факторов, способствующих объяснимости. Например, Хоффман и Кляйн связывают объяснение с каузальным выводом, особенно утверждая, что люди объясняют вещи, создавая перспективные (т.е. предсказательные) каузальные объяснения и подчеркивая пробел в литературе вокруг этого конкретного типа объяснения, вместо этого утверждая, что большинство предыдущих работ было сосредоточено на физической причинности и ретроспективной причинности. Хоффман с соавторами описывает предыдущую работу по выделению различных структур причинно-следственных цепей, относящихся к событиям по всему миру, а Кляйн развивает эту тему, утверждая, что причинно-следственные сети могут и должны быть основой для передачи объяснений. Наконец, Хоффман подчеркивает роль исследования в формировании каузальных объяснений, дифференцируя глобальные и локальные объяснения, которые согласуются с ментальными моделями пользователей, и подчеркивая потребность локальных объяснений в контрастивных или контрфактических подходах; неявно помещая причинно-следственные структуры в центр объяснения. Согласно этим ученым, объяснение по своей сути является каузальной ментальной моделью.

Эти утверждения подкрепляются обширными предыдущими работами в области психолингвистики и нарративного мышления, особенно в юридической сфере. В нескольких предыдущих работах в области психолингвистики подчеркивалась роль построения каузальной структуры в создании «ситуационной модели», т.е. структурированного ментального представления данного текста. Аналогичная иерархия может быть построена и для выходных данных ML-модели.

Причинно-следственные связи относятся к числу наиболее важных (хотя, конечно, не единственных) типов выводов, которые извлекаются из повествовательных текстов читателями, стремящимися понять текст. Кроме того, исследования в области психолингвистики определили причинно-следственную связность повествования как ключевой фактор, определяющий понятность истории. Несмотря на то, что было выявлено несколько измерений связности повествования, в литературе существует консенсус о том, что когерентные нарративы позволяют читателям строить модели причинно-следственных ситуаций описываемых событий. Можно было бы ожидать, что пользователям, стремящимся понять или объяснить выходные данные модели, будут помогать когерентные причинно-следственные объяснения, как система пришла к определенному выводу.

Такая интерпретация подкрепляется обширным объемом работ по ментальным моделям, в которых изучается, как технические эксперты представляют сложные системы и принимают решения по ним. Несмотря на то, что полный обзор этой литературы выходит за рамки данной статьи, ученые сходятся во мнении, что ментальные модели «представляют (воспринимаемую) причинно-следственную динамику явления», тем самым помогая людям делать прогнозы. Таким образом, литература, которая стремится получить причинно-следственные описания функционирования сложных систем, согласуется с классическими теориями ментальных моделей. Наконец, эти каузальные представления также широко используются в юридическом обосновании. Например, «модель истории» принятия решений присяжными заседателями обычно предполагает, что присяжные совместно конструируют причинно-следственную историю в отношении фактов судебного дела, и что эти причинно-следственные связи затем сопоставляются с вердиктами. Подобные методы построения «когнитивных карт» были применены в таких разнообразных областях, как политология и проектирование электростанций. Таким образом, несколько областей независимо друг от друга пришли к одному и тому же выводу – что постижение механизмов облегчается структурированной причинно-следственной моделью. Тем не менее, эти области также согласны с тем, что применение этих механизмов к реальным проблемам должно выходить за рамки причинно-следственных рассуждений. В модели истории присяжные должны сопоставлять структуру истории со знаниями о вердиктах. В литературе по ментальным моделям иерархия абстракций Расмуссена широко применялась для демонстрации случайности каузальных представлений по функциональному назначению. Наконец, в литературе по постижению нарратива причинно-следственные структуры существуют на нескольких уровнях, с несколькими подструктурами. Кроме того, наиболее значимые уровни в этих подструктурах взаимодействуют с другими элементами повествования, связанными с предпочтениями или персональными целями. Важно отметить, что в каждом из этих случаев более поздние исследования документально подтвердили, что причинно-следственные объяснения интерпретируются до принятия решения. Помимо абстракционной иерархии Расмуссена, которая применяется к каузальным ментальным моделям, исследователи в области правовой аргументации обнаружили, что суммы, присуждаемые в качестве компенсации за судебные вердикты, зависят от категориальных и порядковых контекстуальных сигналов, которые позволяют присяжным сравнивать суммы до значимой точки отсчета.

Таким образом, хотя можно подумать, что осмысленная интерпретация является следствием однозначного или иного точного объяснения, теоретики нечетких следов показали, что различные ментальные представления кодируются параллельно. Это означает, что ментальная репрезентация, которая дает интерпретацию, может отличаться от ментальной репрезентации, дающей объяснение, и наоборот. Как будет обсуждаться в следующих разделах, выбор ментальной репрезентации, на которую следует опираться, также является функцией индивидуальных различий в навыках и личностных чертах. Осмысленные интерпретации и механистические объяснения часто не вытекают друг из друга или из точных стенографических данных. Выбор ментальной репрезентации, на которую опирается человек, также является функцией индивидуальных различий в навыках и личностных качествах.

Люди отличаются друг от друга систематическим образом. Некоторые из этих различий являются вопросом мастерства. Например, профессиональный специалист по информатике с многолетним опытом обучения наделен набором навыков, которые сильно отличаются от навыков профессионального ученого-юриста. Люди с соответствующими навыками могут предпочесть полагаться на более точные уровни ментальной репрезентации, если у них есть способность их обрабатывать. Например, «умение считать» – математические способности – позволяет людям осмысливать сложные числовые данные, такие как проценты и дроби, так что они менее подвержены статистической предвзятости при принятии решений. Аналогичным образом, в контексте машинного обучения обнаружилось, что пользователи с образованием в области компьютерных наук (и особенно с докторской степенью) с большей вероятностью согласятся с тем, что система полезна и заслуживает доверия, если они понимают, как работает система. И наоборот, те, кто обладает более соответствующими базовыми знаниями, были лучше способны извлекать суть из нарративов с плохо определенными причинно-следственными структурами. Эти процессы интерпретации связаны с экспертизой в предметной области – отличительной чертой обработки сущности.

Другие различия связаны с чертами характера. Например, некоторые люди предпочитают полагаться на свои «интуитивные чувства», то есть на свои интуитивные суждения, при принятии решения, в то время как другие предпочитают участвовать в обширных размышлениях. Тест на когнитивную рефлексию является мерой этой черты (хотя она также коррелирует со счетом и интеллектом), и исследователи обнаружили, что люди с высоким уровнем когнитивной рефлексии менее восприимчивы к предубеждениям при принятии решений, которые противостоят интуитивным и совещательным способам мышления (например, хорошо известный «эффект фрейминга»). Аналогичным образом, шкала потребности в познании измеряет предпочтения испытуемых в отношении умственных усилий. Например, известны описывания доказательства модели повествовательного понимания, в которой закодировано несколько уровней ментальной репрезентации, причем некоторые читатели предпочитают использовать стратегии построения когерентности, полагаясь на трудоемкое чтение «близкого к тексту», а те, кто использует более интерпретативную стратегию, которая находится «дальше» от текста. Исследователи обнаружили, что люди с высокими интеллектуальными показателями с большей вероятностью решат несколько рискованных задач, по-видимому, потому, что они прилагают усилия, чтобы заметить сходства или противоречия между различными задачами с похожей структурой. Это объяснение этих результатов подкрепляется доказательствами того, что внутрисубъектные сравнения стимулов могут привести к тому, что испытуемые будут подвергать цензуре основные реакции при обнаружении противоречий, тем самым побуждая испытуемых сосредоточиться на более детальных характеристиках. Аналогичным образом, исследования показали, что некоторые люди испытывают трудности с определением того, являются ли модели «честными» или «справедливыми» – обе категориальные суть – абстрактно (т.е. без важного контекста), и вместо этого сравнивают эти объяснения с предыдущим опытом или со второй системой, что позволяет проводить порядковые сравнения («более честные/справедливые» против «менее справедливых/справедливых»). По этой причине Миттельштадт и его коллеги утверждают, что модели должны быть контрастными, чтобы облегчить интерпретируемость. Тем не менее, эти авторы также стараются подчеркнуть, что такие контрастивные объяснения часто упускают важный контекст, т.е. они стимулируют зависимость от вырванных из контекста дословных представлений.

Вышеприведенное обсуждение подразумевает, что не существует единого критерия интерпретируемости или объяснимости, применимого ко всем людям. Тем не менее, может существовать мера, которая может быть определена относительно ожидаемого распределения навыков и личностных черт для каждой целевой аудитории. Поэтому будущая работа должна быть сосредоточена на характеристике этих факторов в сообществах пользователей.

Выше мы заявили, что большинство людей рассуждают, помнят и предпочитают полагаться на менее точные представления при принятии решений. Эта опора на суть-репрезентацию является особенностью развития человеческого познания: по сравнению с неспециалистами, эксперты с большей вероятностью полагаются на выборочную репрезентации в своих областях компетенции. Таким образом, теория нечетких следов проводит различие между механическим знанием – дословным воспоминанием фактов или ассоциаций – и проницательным опытом. По сравнению с новичками, эксперты лучше могут извлечь суть, или наиболее актуальную информацию, и игнорируют менее значимые детали. Поэтому эксперты разработали интуитивные категориальные представления стимулов, которые являются простыми, но мощными и позволяют им принимать решения. Например, инженеры космической отрасли полагаются на категориальные определения «затратно» или «бесплатно» при принятии решений о запуске грузовых миссий, в то время как опытные врачи полагаются на категориальные определения риска, отражающие разумный стратегический выбор, который учитывает очень низкую вероятность, но не пренебрежимо малую вероятность того, что пациенту может потребоваться антибиотикотерапия, при лечении очень больных пациентов, которым могут потребоваться антибиотики.

Теория нечетких следов выходит за рамки альтернативных теорий, которые можно найти в литературе по искусственному интеллекту и психологии.

Несколько предшествующих теорий можно разделить на две большие группы: теории схем и ассоциативные теории. Теории схем утверждают, что люди используют структуры данных более высокого уровня, называемые «схемами» или «фреймами», которые навязывают «нисходящую» структуру воспоминаниям и опыту, придавая смысл мировым стимулам и, таким образом, навязывая предубеждения. В противоположность этому, ассоциативные теории предполагают, что значение возникает «снизу вверх» из часто наблюдаемых паттернов, которые одновременно встречаются в мире. Вместо того, чтобы осмыслить эти закономерности совместного возникновения, ассоциационистские теории утверждают, что значение является просто функцией статистической регулярности. Еще в 1983 году Альба и Хашер обнаружили, что человеческая память обладает характеристиками как схематических, так и ассоциационистских теорий. Тем не менее, элементы обеих моделей также неоднократно фальсифицировались, а это означает, что ни схематические, ни ассоциационистские теории не могли объяснить все экспериментальные результаты.

Теория нечетких следов объясняет эти противоречивые выводы основным теоретическим различием между сущностными и дословными ментальными представлениями, которые закодированы отчетливо, но параллельны (сущностные представления не являются производными от дословных представлений). Хотя люди предпочитают полагаться на зыбкие смыслы, они также кодируют и, следовательно, могут распознавать дословные представления. В отличие от них, алгоритмы являются дословными по самой своей природе. Таким образом, люди, работающие вместе с алгоритмами машинного обучения, могут получить лучшее из обоих миров, применяя структурированные фоновые знания, основанные на сути, для интерпретации алгоритмических выходных данных, основанных на ассоциациях.

Ключевая конструкция теории нечетких следов, суть, также выходит за рамки других теорий, которые полагаются на интуитивное суждение. Исследовательская парадигма «эвристики и предубеждения» также признает роль интуиции в поведении человека, но считает интуитивные суждения примитивными и, следовательно, связанными с плохим принятием решений. Эта традиция указывает на рутинные нарушения человеком статистических данных и аксиом принятия решений в качестве доказательства этого утверждения. Тем не менее, развитая образованная интуиция часто приводит к лучшим результатам, даже когда эксперты могут достичь этих результатов по причинам, которые внешний наблюдатель может счесть «неправильными». Например, опытный врач может принять правильное решение о том, как лечить пациента по результатам анализов, даже если его математические расчеты относительно числовых вероятностей, которые он присваивает различным результатам лечения, могут быть неверными. Действительно, основные представления сложных проблем позволяют экспертам принимать решения, основанные на контексте, основанном на обширных базовых знаниях. Такой контекст позволяет экспертам при принятии решений сосредоточиться на сути информации, пренебрегая менее важными особенностями, которые не дают понимания. Таким образом, представления сути, когда они основаны на экспертных знаниях, основаны не только на механическом упрощении, но и на глубоких упрощениях, которые имеют значение для лиц, принимающих решения.