Читать книгу Незамкнутый контур: что не так с искусственным интеллектом? (Пётр Гавриш) онлайн бесплатно на Bookz
Незамкнутый контур: что не так с искусственным интеллектом?
Незамкнутый контур: что не так с искусственным интеллектом?
Оценить:

4

Полная версия:

Незамкнутый контур: что не так с искусственным интеллектом?

Пётр Гавриш

Незамкнутый контур: что не так с искусственным интеллектом?

Предисловие

Эти вопросы встают каждый раз, когда речь заходит о больших языковых моделях: почему алгоритм выдаёт свои цифровые фантазии за реальные факты и почему поток машинных галлюцинаций разгоняется с пугающей быстротой?

Обычно нам предлагают два ответа: либо «данных пока маловато, надо подождать», либо «ну, так устроен механизм подбора слов, ничего не поделаешь». Оба варианта ничего не объясняют. Если бы всё упиралось только в количество информации, этот перекос давно бы исчез, поскольку за последние годы объёмы данных, скормленные нейросетям, выросли в сотни раз. Что же касается механизма подбора слов, то этот ответ и вовсе из серии «не мы такие, жизнь такая».

Эта книга родилась из попытки найти третий ответ. Если совсем коротко: причина в том, что у машины не замкнут на себя операционный контур.

Тот опыт, который она получает в процессе общения с нами, не возвращается в её прошивку. Нейросеть не помнит, что было вчера, она не меняется от собственных слов и не замечает, как крошечная ошибка на первом шаге превращается в лавину заблуждений к концу задачи. Корень у этих болезней один: то, что сгенерировано, не возвращается к истоку.

Если это так, то глупо гнаться за мощностью или фильтровать выходы. Нужно перестраивать сам контур. За образцом работающего контура далеко ходить не нужно: это человек. Мы единственная система, способная держать равновесие в совершенно незнакомой среде, учиться на своих ошибках и помнить вчерашний день. А всё потому, что у нас нет разрыва между непрерывно поступающим опытом и ментальным ядром.

Представьте комнату, где работает человек. Он берёт документ, читает, замечает логическую ошибку и возвращается на страницу назад, чтобы её исправить. Между совершённым действием и следующей мыслью всегда есть петля: последствия возвращаются к тому, кто действует, и меняют его. Так устроено всё живое. Ушиб учит осторожности, честный разговор меняет мнение, а хорошая книга переписывает то, что мы знали до неё.

А теперь представьте ту же комнату, но с машиной. Она ведёт диалог: отвечает на запросы, получает правки, реагирует на критику — общается и попутно получает новый опыт. Однако к следующему диалогу она вернётся точно такой же, какой была до этого. Причина — незамкнутый контур. Этот опыт не замыкается на систему и не меняет её основание.

Из этого разрыва логически вытекает всё остальное. Ошибку внутри системы не с чем сверить, она раздувается к концу ответа — и мы получаем галлюцинацию. Разговор не записывается в контур и исчезает, стоит закрыть вкладку браузера. Правила безопасности приходится приделывать снаружи, потому что внутри их некуда встроить — именно поэтому машина так легко их обходит, стоит лишь немного изменить формулировку вопроса.

Мне сразу возразят: в нейросети обратных связей сколько угодно. Обучение и есть обратная связь: модель ошибается, ошибка правит веса, веса меняют следующее предсказание. Верно. Только замыкается этот контур до того, как модель вышла к людям: на тех текстах, на которых её учили. А после релиза он замирает. Я говорю о незамкнутости операционного контура: по нему в ядро должно возвращаться то, что произошло в работе, ваш вопрос, её ошибка, ваша поправка. Отсюда и название книги — «Незамкнутый контур».

О чём эта книга? О том, что искусственному интеллекту не хватает не терафлопсов, а нескольких базовых вещей, которые у человека работают как часы: памяти, удерживающей картину целого; калибровки значимого, помогающей отличать важное от проходного; внутренней черты, за которую нельзя заходить ни при каких условиях; ограниченного срока, который заставляет делать выбор и ценить время.

Теперь о том, на чём держится многое в этой книге, — о фрактале. Это не психоделический узор или картинка цветной капусты. Это принцип устройства мира, в котором целое повторяется в каждой своей малой части, и поэтому по крупице можно судить о масштабном. Ветка повторяет структуру дерева, маленький залив — контур всего берега, а один день — всю жизнь.

Мне фрактал нужен не ради красоты. Фрактальность наглядно объясняет две ключевые вещи. Во-первых, почему мелкое отклонение в логике машины через тысячу шагов полностью меняет её поведение. Во-вторых, почему у человека тормоз срабатывает в мелочах гораздо раньше, чем в чём-то крупном: совесть останавливает нас на мелкой нечестности именно потому, что видит в ней фрактальный зародыш будущего большого обмана — тот же порок, только в малом масштабе.

Отсюда главный тезис книги: если целое всегда повторяется в части, то система, у которой нет внутренней черты на самом нижнем уровне, никогда не обретёт её и на верхнем — сколько бы внешних фильтров мы на неё ни навешивали и сколько бы цензоров к ней ни приставляли. Самоподобие — это не поэзия, это механика, по которой лечить нужно основание, а не выход.

Чего в этой книге точно нет: технических спецификаций, по которым инженер смог бы построить готовую систему; громких прогнозов с точными датами и обещаниями пришествия сверхразума ни через пять лет, ни через пятьдесят; академических обзоров и бесконечных споров с каждым профильным автором. Зато здесь есть чёткая рамка, в которой разговор об ИИ наконец-то становится проверяемым.

И ещё одно важное замечание. Эта книга — размышление, а не обзор литературы: конкретные работы я не разбираю и не цитирую. Там, где пересказываю чужую мысль, я стараюсь это оговорить; там, где думаю сам, честно пишу «я думаю» и оставляю за вами полное право со мной не согласиться.

Такая живая форма ничуть не слабее строгого научного трактата. Разговор, в котором мысль рождается на ваших глазах, обнажает сам механизм мышления — а это часто гораздо важнее финального вывода. Но у такого подхода есть своя цена: я могу ошибаться, и где-то наверняка ошибаюсь. Обещаю вам только одно — никогда не выдавать свои догадки за доказанные факты.

Как устроена книга? В первой части, «Тупик», мы разберём, почему простое наращивание мощностей не принесло нам ни машинного разума, ни элементарной надёжности; посмотрим на анатомию самоподобия и на то, что индустрия уже пробовала делать с самоподобными архитектурами. Во второй, «Оптика», я предложу язык из пяти уровней, с помощью которого можно описать сбой машины и сбой человека, не сваливая их в одну кучу. Третья часть, «Психика», расскажет о том, что именно мы можем взять у человеческой природы: память, эмоции, ценности и концепт конечности бытия. В четвёртой, «Программа», речь пойдёт о пяти предохранителях, которые не дают обратному контуру машины разомкнуться, и о том, что из этого можно протестировать на современных моделях, а что пока остаётся лишь проектом на бумаге. И наконец, пятая часть, «Границы», покажет машину как зеркало наших собственных привычек и опишет наши отношения с ней, которые не будут ни миром, ни войной, а паритетом.

Об одном допущении я хочу сказать сразу, потому что оно важнее любой отдельной главы. Вся книга держится на гипотезе о том, что закон самоподобия работает и для человека, и для кремния. Это именно допущение, а не доказанная аксиома. Я называю его «оптикой» и буду держаться этого взгляда ровно до тех пор, пока он не начнёт противоречить голым фактам. Там, где начинается чистая гипотеза, будет написано «гипотеза». Там, где я использую метафору, будет написано «метафора». Читатель имеет право знать, насколько тверда почва под его ногами.

Кому адресован этот текст? Точно не хардкорным исследователям машинного обучения — они не найдут здесь формул или схем новых архитектур, и я не собираюсь притворяться, что могу их дать. Эта книга для тех, кто следит за ИИ-революцией со стороны и больше не верит ни одному из двух радикальных лагерей: ни технооптимистам, обещающим цифровой рай через пару лет, ни техноалармистам, призывающим всё немедленно запретить. Этим сторонним наблюдателям не хватает адекватного языка, на котором они могли бы задавать вопросы авторам технологий. Я предлагаю такой язык.

Начнётся же книга с того, как выглядел тот самый оглушительный успех, из которого в итоге и вырос наш сегодняшний алгоритмический тупик.

Часть 1. Тупик

Глава 1. Иллюзия линейной парадигмы

В погоне за сверхразумом индустрия искусственного интеллекта зашла в тупик. Мы примерили на себя роль творца, но попытались написать «Мону Лизу» с помощью циркуля и линейки.

Мы искренне верили: если построить нейросети размером с небоскрёб и пропустить через них терабайты текстов, в глубине этой махины рано или поздно родится сознание. Этого не произошло. Сегодня огромные дата-центры выдают уверенный бред за чистую истину. И самое пугающее: с каждой новой тысячей процессоров этот бред становится только увереннее. Что же касается безопасности, то о ней бьют в набат уже политики.

Дальше пойдёт гипотеза, и мы будем честно называть её гипотезой.

Эффективность и безопасность сильного ИИ нельзя получить извне — за счёт наращивания мощностей дата-центров или жёстких фильтров на выходе. Их даёт только перенос в машину той внутренней схемы, благодаря которой держит равновесие человек.

Но давайте начнём с тупика.

Этот тупик долгое время выглядел как оглушительный успех. Каждый новый релиз нейросетей был крупнее предыдущего: больше параметров, больше данных, больше видеокарт, гудящих в одном зале. Корпоративные отчёты показывали рост по всем метрикам. Казалось, ещё два-три таких шага — и машина заговорит в точности как человек.

Она и заговорила. Вот только вместе с человеческой речью модель унаследовала главное свойство самого невыносимого собеседника: абсолютную уверенность при полном отсутствии оснований. Машина начала придумывать несуществующие научные статьи, приписывать авторам чужие цитаты и объяснять свои ошибки так же гладко и красиво, как за секунду до этого выдавала верный ответ. Прибавить мощности — оказалось прибавить ей не точности, а апломба. На этом месте индустрия впервые притормозила и попыталась посмотреть на себя со стороны.

Случай первый: фантомная справка

Этот пример знаком каждому, кто запрашивал у языковой модели конкретную фактологическую выжимку.

Вы просите у нейросети список научных работ по сложной теме. В ответ получаете аккуратный перечень из двадцати пунктов: с годами публикации, названиями журналов и авторами, действительно признанными в этой области. Названия звучат солидно, годы выглядят правдоподобно, порядок логичен. Но когда вы начинаете проверять ссылки, выясняется: половины этих работ не существует в природе.

И дело не в том, что модель перепутала выходные данные или опечаталась. Она собрала текст, который идеально выглядит как список литературы.

Здесь нет ошибки памяти или сбоя логики. Система работает по единственному заложенному в неё критерию: следующее слово в предложении должно быть наиболее вероятным. С точки зрения математической вероятности, список правдоподобных названий этому критерию удовлетворяет на все сто процентов. Внутри системы нет предохранителя, который мог бы сказать: «Погоди, но ведь такого первоисточника не существует». Машине нечем проверять информацию, кроме собственной статистической уверенности.

Вот почему простая накачка мощности здесь не помогает. Следующее поколение моделей ошибается чуть реже, но там, где оно всё-таки спотыкается, оно ведёт себя точно так же: выдаёт гладкий текст вместо верного факта. Ошибки не исчезают, они сдвигаются в зону более редких, специфических вопросов. В итоге человек, который привык перепроверять каждую ссылку, получает неплохой инструмент. А человек, который верит на слово, получает бред с улучшенной грамматикой.

Случай второй: лавина на стыках

Есть и другой сценарий. Он устроен иначе, но приводит к той же проблеме.

Дайте модели по-настоящему длинную и комплексную задачу. Не короткий вопрос на один абзац, а дело на двадцать последовательных шагов, где каждое следующее решение должно опираться на предыдущее. Например, рассчитать смету, составить план переезда компании или разобрать сложный юридический договор.

Первые шаги нейросеть делает безупречно: числа сходятся, формулировки точные и ёмкие. Но где-то к середине задачи закрадывается маленькое допущение, которого в исходных условиях никто не делал. И дальше система обращается с этим допущением как с непреложным фактом. К финалу мы получаем красивый, связный, но неверный в общем итоге документ. Причём если читать текст с любого случайного места в середине, подвоха не заметишь — там всё выглядит логично.

Обратите внимание, где именно рождается эта ошибка. Не в конкретном слове и не в отдельной фразе — ведь каждый шаг сам по себе разумен. Ошибка живёт в невидимых стыках между шагами. Модель не сверяет свой очередной абзац с исходным условием задачи, она просто продолжает генерировать текст. А текст у неё всегда получается связным.

Человек в аналогичной ситуации ведёт себя принципиально иначе. Он умеет возвращаться назад. Он пересчитывает смету с самого начала, перечитывает страницы договора, натыкается на то самое ложное допущение и вычёркивает его. Такой возврат требует времени и ментальных усилий, поэтому мы делаем его не всегда — но мы как минимум знаем, что такая опция у нас есть.

В этом и заключается второй признак системной болезни. В первом случае нам нечем было проверить внешнюю ссылку, во втором, нам некуда вернуться, чтобы проверить собственный шаг. И это проблема не объёма памяти и не качества слов. Это проблема отсутствия точки, в которой система способна сверить себя с целым.

Индустрия ИИ восприняла этот урок как обычную прикладную задачу: «Нужно сделать так, чтобы ответы стали точнее». Но на самом деле это фундаментальная задача об архитектуре: нужно, чтобы система научилась обнаруживать, что у неё под ногами нет твёрдого основания.

Первый подход (точность ответов) временно держится на терабайтах данных и новых видеокартах. Второй (замкнутость контура) решается только изменением самой геометрии системы.

Глава 2. Анатомия самоподобия: как устроен природный архиватор

Попытка измерить шероховатую ткань реальности с помощью классических инструментов зачастую приводила науку в концептуальный тупик. Столетиями точные дисциплины, унаследовавшие логику Евклида, пытались упаковать Вселенную в рамки идеальных форм — прямых линий, гладких сфер и правильных геометрических тел. Однако реальный мир нелинеен, изломан и хаотичен. На стыке этого хаоса и скрытого порядка родилась совершенно иная геометрия — теория фракталов, описывающая законы мироздания через универсальный принцип самоподобия.

За десятилетия, прошедшие с момента первых открытий в этой области, исследователи посвятили фракталам тонны публикаций, обнаруживая их проявления на самых разных уровнях бытия. Но что такое фрактал, если соскрести с него налёт сухой геометрии?

По сути, фрактал — бесконечно масштабируемая информационная матрица. Это принцип структуры, который остаётся самоподобным, в какую бы сторону вы ни изменяли масштаб наблюдения за объектом или процессом. Часть здесь всегда содержит в себе информацию о целом. Если мы рассмотрим вблизи ветку дерева, то увидим, что она сама выглядит как маленькое дерево. Если взглянем на лист папоротника, то обнаружим, что каждый его крошечный зубчик — это миниатюрная копия всего листа.

Фрактал — это способ, которым природа побеждает пустоту и хаос, упаковывая бесконечные объёмы данных и материи в ограниченные ячейки реальности. Она не изобретает новое правило для каждого отдельного объекта, а бесконечно разворачивает в пространстве одно и то же решение.

Этот изящный трюк называют природным архиватором. Работает он и в веществе, из которого построен осязаемый мир, и в энергии, которая приводит его в движение, и в информации, которая всем этим управляет.

Для нашей книги важно то, что природа умудряется упаковывать невероятное разнообразие форм в максимально компактную, экономную и устойчивую структуру. И ровно ту же упаковку мы с вами будем искать чуть позже в памяти человека и в математических весах языковой модели.

Разбирать устройство этого «архиватора» удобнее всего через три простых вопроса: что именно разворачивается, как система движется и ради чего всё это вообще устроено?

Начнём с первого. Самоподобная система всегда разворачивается из невидимого правила — стартового кода. Это предельно лаконичная инструкция, в которой изначально заложены функция и вектор развития. Фрактальная упаковка информации — способ бесконечного масштабирования данных с сохранением сквозной логики системы.

Из стартового правила рождается проявленная геометрия — сложная сеть связей, где крупные узлы дробятся, в точности повторяя схему целого. Смысл формы в геометрии фрактала — уместить максимальную площадь взаимодействия со средой в минимальный объём. Посмотрите на наши лёгкие: общая поверхность лёгочных альвеол человека равна площади теннисного корта. И вся эта огромная площадка ювелирно свёрнута и спрятана в тесной грудной клетке. Точно так же устроены кровеносные сосуды, ветви деревьев и русла рек. Природе необходим способ контактировать с миром на максимуме возможностей, не занимая при этом лишнего места.

Теперь о движении. Фрактальность проявляется не только в статичной форме, но и в динамике. Информация и энергия в таких системах текут по извилистым внутренним лабиринтам. Именно поэтому любые процессы здесь нелинейны. Представьте себе открытое пространство — любой импульс распространится там мгновенно, подобно взрыву. Внутри же фрактала хаос спотыкается о тупики и развилки, теряет скорость и гаснет. Сама структура спроектирована так, чтобы случайный внутренний пожар не смог сожрать систему целиком. Фрактал — это встроенный гаситель скорости хаоса.

Наружу эта динамика выходит конкретным явлением: ураганом над океаном, завихрением в горной реке или воронкой в чашке чая. Это одно и то же движение в разных масштабах. Отсюда вытекает главное практическое свойство фрактала: по малому, доступному глазу участку можно считывать характер движения целого. Нам не нужно ждать гигаваттного удара грозы, чтобы изучить траекторию молнии, — крошечная электрическая искра на предметном стекле изламывается и ищет путь по тем же законам. Этим свойством пользуется всякий, кто читает сложную систему по фрагменту: геолог — по обнажению породы, врач — по анализу крови, инженер — по ошибке в логах.

Но здесь же пролегает и граница. Подобие фрактала — вещь информативная, но неполная. У большого и малого участков один характер, но разная судьба. По фрагменту мы можем понять, как устроена система, но никогда не сможем предсказать, что конкретно произойдёт с ней в будущем. Эту разницу я буду держать в уме до самой последней страницы: фрактал даёт нам язык для описания архитектуры устройства, но не даёт хрустального шара для предсказаний.

Наконец, третий вопрос: ради чего всё это? Фрактал сохраняет стабильность и выживает за счёт системы вложенных целей. Каждая отдельная клетка организма блюдёт химический баланс своего органа. При этом орган контролирует баланс всего тела. А тело работает на глобальную цель — выживание биологического вида. Глобальная цель всегда одна, меняется лишь масштаб её исполнения на каждом конкретном этаже. В этом кроется колоссальная экономия ресурсов: живая система не перебирает из раза в раз триллионы случайных вариантов, а на каждом уровне повторяет однажды найденную и эволюционно проверенную стратегию.

В живом мире вся эта конструкция держится на петле обратной связи. Система постоянно смотрит на результат своего предыдущего шага, сверяет его со стартовым кодом, при необходимости переписывает себя на базовом уровне и только после этого делает следующий шаг. Эта петля не даёт структуре распасться. Она даёт живой системе главное — способность меняться под воздействием реальности, оставаясь при этом собой. Петля связывает вчерашний день с сегодняшним, превращая ошибки в шрамы, которые учат осторожности. Она создаёт то самое ментальное ядро, о которое разбивается внешний хаос.

Запомните этот тезис. Разница между человеком и нынешней машиной, как мы увидим, проходит именно здесь.

Есть и ещё одно свойство, без которого фрактальная теория превращается в красивую, но абстрактную картинку. В природе нет идеальных формул. Деревья не растут по линейке, облака не обведены циркулем. В ней всё работает квазифрактально — то есть через неполное, «дышащее» самоподобие. Всегда есть жёсткое ядро правил в центре и люфт на периферии. Ядро удерживает то, что менять нельзя; края оставляют место для случайности, манёвра и адаптации к меняющейся среде. Дисциплина в центре, свобода на границах. В человеке это ядро ценностей и периферия привычек, в модели — замороженные веса и податливый контекст разговора.

Чтобы не ждать от книги чудес, сразу договоримся: фрактальность — это не универсальный и не доказанный для всех уровней бытия закон. В чистой математике она строга и абсолютна, в природе — статистична, в психике же, по большей части, остаётся моделью, о работоспособности которой судят по её объяснительному и предсказательному потенциалу. Я предлагаю смотреть на фрактальность как на оптику. Если рассматривать сбой сети и сбой человека в одном увеличительном приборе, становятся видны вещи, которые иначе ускользают. Там, где она обманывает, я буду это отмечать.

Нам предстоит понять, как именно фрактальный архиватор пакует наши мысли и решения, и что выйдет, если такую же упаковку попробовать собрать в кремнии.

Глава 3. Фрактал в кремнии: что уже пробуют?

Если фрактал позволяет дёшево и красиво упаковывать сложность, индустрия искусственного интеллекта обязана была на него наткнуться. И она наткнулась. Но в итоге — обошла стороной. Потому что инженеры применили фрактальность не так, как нужно: они не реализовали идею адаптивного фрактала как механизма, то есть правила, которое сохраняет самоподобие, но способно переписываться собственным результатом.

Начну с того, что действительно сделано. Фрактал появляется в работе с нейросетями в трёх местах, и каждое из них стоит знать, чтобы не изобретать заново то, что уже пробовали. Различать их удобно по простому признаку: в каком качестве фрактал попадает в систему. Он уже работает как материал, на котором учат; как готовая форма, вписанная инженером; и как входной признак, подсказывающий модели характер данных.

Первое — обучение на синтетических фракталах. Известный приём: нейросеть тренируют распознавать образы не на фотографиях, а на абстрактных компьютерных узорах.

Машина учится видеть повторяющиеся структуры на ветвящихся математических картинках, а потом переносит этот навык на реальные изображения: находит аномалии на медицинских томограммах или распознаёт объекты на спутниковых снимках.

Результат сам по себе любопытный. Он доказывает: умение замечать самоподобие прекрасно переносится из чистой математической абстракции в реальность. Но обратите внимание: здесь фрактал — всего лишь тренажёр, а не сама архитектура. Индустрия использует его как тяжёлую гантель для прокачки весов, но не как внутренний скелет модели.

Второе — конструкция самой сети. Есть экспериментальные архитектуры с вложенными и рекурсивными блоками: глубокую нейросеть собирают не из уникальных слоёв, а из одного повторяющегося блока. Этот блок вкладывается сам в себя, как ветка в ветку. Глубина модели возникает из самоповторения.

Выигрыш очевиден: параметров меньше, иерархия представлений упаковывается плотнее, и сеть сохраняет способность работать на разных масштабах. Это уже гораздо ближе к делу — здесь фрактальность заложена в саму геометрию. Но и тут она остаётся лишь застывшей формой. Это повторение жёстко прописано инженером в коде и в процессе работы модель больше не меняется. Форма фрактальна, но сам механизм мёртв.

Третье — фрактальные признаки. Когда модели нужно предсказать сложный временной ряд (например, биржевые котировки или сейсмическую активность перед землетрясением), ей на вход подают не только сами значения, но и характеристики их хаотической динамики. Идея в том, что шум и хаос тоже фрактальны: мелкие ежесекундные колебания системы копируют структуру её глобальных многолетних циклов. Математики научились измерять эту «шершавость» хаоса, высчитывать глубину его памяти (показатель Хёрста) и передавать эти цифры нейросети как подсказку.

bannerbanner