Язык, человек и искусственный интеллект

Сегодня грамматика понимается шире, чем простое «правильное» или «неправильное» употребление языка. Она воспринимается как динамическая система, которая не только описывает структуру, но и тесно связана с когнитивными процессами, культурой и коммуникацией.

Семантика

Язык – это не только форма. Его содержание раскрывается в смысловом наполнении, которое придаёт словам и предложениям значение и делает возможной передачу мысли. Именно поэтому в лингвистике различают материальную сторону языка – звуки и формы – и функционально-семантическую, то есть значения и связи между элементами.

Семантика – это наука о значении. Она изучает то, как языковые единицы, от морфем и слов до предложений и текста, передают смысл. Семантика отвечает на вопрос, каким образом форма соединяется с содержанием: как слово обозначает предмет или явление, как значения слов складываются в общее значение высказывания и как со временем эти значения могут меняться. В этом смысле семантика показывает, что язык – это инструмент, с помощью которого человек видит и отражает окружающий мир. Язык проявляет свою истинную силу тогда, когда структура и смысл работают вместе.

Рассмотрим пример, когда правильный синтаксис ещё не гарантирует успеха. Попробуем прочитать следующее:

Беззвучная мысль поёт стеклянной логикой бананов.

Синтаксически всё в порядке. Есть подлежащее, сказуемое и дополнение. Но семантика нарушена – смысл либо отсутствует, либо скрыт за абсурдом.

Понимание смысла тесно связано с нашим восприятием, личным опытом и желанием делиться своими мыслями с другими. А язык – это форма, в которую мы облекаем эти внутренние смыслы, чтобы сделать их доступными другим.

Однако «значение» и «смысл» – вещи абстрактные, и чтобы их исследовать, лингвисты и специалисты в области информационных технологий создают модели, которые позволяют определять значения слов, понимать сложные выражения, моделировать логические отношения. Поэтому семантика – это та часть лингвистики, в которой моделирование играет важную роль и используется наиболее активно.

Главной задачей семантики становится формализация и описание смысла таким образом, чтобы с ним можно было работать системно, логично и предсказуемо, что делает эту науку ключевой составляющей как в теоретической лингвистике, так и в прикладных задачах, включая искусственный интеллект. Позже мы рассмотрим эту часть языкознания более подробно.

Фонетика

Фонетика изучает, как мы произносим и слышим звуки речи. Она объясняет, почему люди звучат по-разному, как мы понимаем речь и что делает произношение живым и разнообразным. Она помогает понять как различаются звуки в разных языках; почему у людей есть акцент; как создаются фонетические транскрипции (например, в словарях); как работают голосовые ассистенты и системы распознавания речи.

Существует международный фонетический алфавит (IPA), включающий более 100 символов для описания всех возможных звуков человеческой речи. Это как музыкальная нотация для языков мира – универсальная система, которая позволяет записать любой звук любого языка, даже если он не имеет письменности.

Языки мира демонстрируют огромное фонетическое разнообразие. Например, русский язык различает звонкие и глухие, мягкие и твёрдые согласные звуки. Английский язык богат на дифтонги (двойные гласные), произношение которых часто не совпадает с написанием. Французский имеет много носовых гласных и непроизносимые согласные.

Китайский язык весьма интересен с позиции фонетики, потому, что в нём значение слова зависит от интонации (тона), например:

• mā (1 тон) – мама

• má (2 тон) – конопля

• mǎ (3 тон) – лошадь

• mà (4 тон) – ругать

Звук один, однако тон полностью изменяет смысл слова.

Санскрит – один из древнейших языков мира – особенно интересен, потому, что он был первым языком в истории, чья звуковая система была описана с невероятной точностью. Более того, его структура так совершенна, что до сих пор вызывает восхищение у лингвистов и специалистов в области информационных технологий.

Фонетика санскрита была описана более двух тысяч лет назад в труде Панини (ок. V–IV века до н. э.). Он создал грамматическую систему «Аштадхьяи», в которой каждый звук имел своё точное место и способ образования. Звуки были строго упорядочены в таблице по артикуляционным признакам, и фактически это была прародительница современной Международной фонетической таблицы (IPA).

Поэзия, мантры и ведические гимны создавались с учётом звукового воздействия на человека, с использованием фонетических закономерностей для ритма, резонанса и мелодии. Санскрит – уникальный язык, где звук, структура и смысл объединены с математической точностью.

Фонетика – это обширная область знаний, которую мы не будем рассматривать в этой книге. Достаточно сказать, что это важная составляющая системы некоторых исконных языков.

Семиотика

Семиотика занимает особое место по отношению к уровням языка классической модели. Она не является одним из уровней, а стоит как бы над всей системой, предлагая общий взгляд на язык как на знаковое образование. Если фонетика, морфология и синтаксис описывают отдельные уровни устройства языка, то семиотика рассматривает язык целиком в ряду других знаковых систем – наряду с музыкой, живописью, математикой или ритуальными действиями. С её точки зрения каждая единица языка, от фонемы до текста, может рассматриваться как знак, имеющий форму и содержание. Таким образом, семиотика выступает как надуровневый подход, позволяющий увидеть в языке универсальную символьную систему, объединяющую материальные средства выражения и смысловое наполнение.

Возможно, вы слышали выражение «символы правят миром», которое имеет глубокие культурные корни. Например, у Конфуция встречается идея «исправления имён»: если символы и названия теряют связь с реальностью, рушится порядок в обществе. В европейской традиции эта мысль получила политическое измерение. Наполеону приписывают слова «Символы управляют миром, а не люди и законы», подчёркивающие силу идей и образов в поддержании власти. В XX веке философ Эрнст Кассирер развил эту идею, утверждая, что человек – это animal symbolicum, существо символическое, чья реальность формируется через знаки и символы. Таким образом, мысль о власти символов соединяет философию, политику и лингвистику.

В современности власть символов проявляется особенно ярко. Государственные флаги и гимны способны объединять миллионы людей вокруг идеи нации. Бренды в коммерческой культуре действуют как символы статуса, качества или стиля жизни, определяя выбор потребителей не меньше, чем реальные свойства товара. В цифровую эпоху мемы, эмодзи и визуальные образы в социальных сетях могут запускать общественные движения, формировать политические настроения или разрушать репутации быстрее, чем официальные заявления. Всё это показывает, что символы не утратили своей силы. Они продолжают направлять коллективное сознание и управлять реальностью, в точности подтверждая древнюю мысль о том, что символы правят миром.

Письменность является типичным примером символической системы. Люди склонны отождествлять язык и письменность, в то время как это два разных понятия, хоть и тесно связанные друг с другом.

Вплоть до XX века многие языки мира не имели письменности, но это не мешало им быть сложными, точными и по-своему богатыми. Например, язык американских индейцев навахо долгое время существовал без письменности, но использовался для военных шифров во Второй мировой войне. Его сложно было расшифровать даже специалистам. У многих африканских, австралийских, полинезийских народов также были – и есть до сих пор – богатые устные языки без собственной письменной системы.

Устная традиция вовсе не означает какого-либо несовершенства языка. Кроме того, изустная передача знаний считается более точной, ведь от ученика в таком случае требуется большая осознанность для понимания и запоминания передаваемых смыслов. И такая практика широко применялась в прошлом.

Иногда письменность используется для записи чужого языка. Например, латиницей можно записывать английский, немецкий, турецкий, вьетнамский и суахили. Кириллица используется не только для русского, но и для сербского, болгарского, киргизского и других языков. Китайские иероглифы раньше применялись в японском и корейском, хотя эти языки сильно отличаются между собой. Хинди и урду – фактически один разговорный язык (хиндустани), но хинди пишется санскритским письмом, а урду – персидско-арабской вязью.

Язык и письменность по отдельности имеют свои собственные характеристики и свойства для передачи смысла. И когда работают в паре, то язык, имеющий ограниченный словарь, вряд ли сможет использовать весь потенциал письменности. И наоборот, ограниченная письменность может понижать способности языка для выражения сложных идей.

Семиотика затрагивает темы, которые выходят за рамки этой книги. Тем не менее, мы рассмотрим, как иероглифическая письменность создаёт когнитивные привычки и влияет на восприятие и мышление.

Генезис: у истоков бытия

За время своего развития лингвистика прошла большой путь в осмыслении природы языка. Был накоплен огромный опыт, создано множество трудов и исследований, выполненных учёными разных стран. Однако любая модель, созданная человеком, остаётся открытой для уточнений и доработки – особенно когда речь идёт о столь сложном и многослойном явлении, как язык. Это подтверждает известная теорема Гёделя о неполноте любой модели:

Любая логическая модель неполна, возможно, несостоятельна и должна непрерывно улучшаться и адаптироваться с учётом новых наблюдений.

Здесь мы попытаемся расширить привычное представление о языке, рассматривая его с позиции кодирующих принципов и информационных процессов. Для этого мы проведём параллели между информационной основой мироздания и природой самого языка, который, будучи средством общения и познания окружающего мира, одновременно выступает его отражением.

В начале было слово…

«В начале было Слово…» – так начинается Евангелие от Иоанна. Однако в греческом тексте Библии это звучит так:

Ἐν ἀρχῇ ἦν ὁ Λόγος (En archē ēn ho Lógos) – «В начале был Логос»

Древнегреческое слово Λόγος имеет несколько значений, в числе которых – «слово, речь, разум, замысел, смысл, логика». Это слово происходит от однокоренного глагола λέγω (légo) со значениями «говорить, рассказывать, называть». Этот глагол один из самых часто употребляемых в древнегреческом языке. У него довольно широкая семантика, связанная с речью и передачей информации.

Существует также латинское слово lego. Хотя оно и греческое λέγω (légo) звучат похоже и имеют схожие значения, они, возможно, развивались независимо в рамках своих языков – но оба связаны с идеями сбора информации, речи и передачи смысла. Латинское lego может переводиться как «я читаю» или «я собираю», что красиво совпадает с концепцией популярного конструктора LEGO – собирать, строить, творить. Интересно, что из того же латинского корня происходит и слово «легитимный», что связывает его с понятием закона и порядка.

Эта цепочка мыслей может показаться странной. Но только до тех пор, пока мы не познакомимся с расширенными свойствами языка как конструктора идей и смыслов. Языка как строительной основы модели мира. Это очень напоминает язык программирования, на котором создаются виртуальные миры и пространства. Всё это не так уж далеко от реальности – при условии, что мы понимаем окружающий нас мир как информационный процесс.

Обычно под информацией понимают просто описание реальности. Есть мир с его законами и процессами, а человек лишь наблюдает, записывает и объясняет их, чтобы предсказывать будущее и управлять событиями. Это верно, но не совсем полно. Всё чаще высказывается мысль, что информация не вторична, а первична, что именно она лежит в основе самого бытия. Материя и физические явления могут быть лишь проявлением более глубоких информационных процессов. Возможно, со временем наука сможет убедительно доказать, что именно информация является фундаментом всего сущего.

Итак, слово занимает центральное место в языке, однако его понимание зависит от научной парадигмы. В традиционном языкознании, опирающемся на классическую школу, слово рассматривается как единица языка. Лингвист Владимир Алпатов подчёркивает, что слово хранится в человеческом мозге и играет ключевую роль в порождении речи. При этом оно многогранно, имеет фонетическую оболочку, морфемный состав, грамматические формы, синтаксическую функцию и семантическое значение. Слово понимается как структурная единица языковой системы.

В когнитивной лингвистике слово рассматривается не только как элемент языка, но и как носитель концепта, то есть фрагмента знаний о мире. Как спрессованный опыт. Слово связывается с образом, культурными ассоциациями, эмоциональными и символическими значениями. Например, слово «дом» обозначает не только жилище, но и более широкий концепт: уют, семью, чувство защиты и родины.

В психолингвистике слово понимается прежде всего как единица ментального лексикона – внутреннего словаря человека. Здесь внимание сосредоточено на том, как слово хранится в памяти, как оно извлекается и используется в процессе речи. Важна не только его форма и значение, но и ассоциативные связи, а также механизмы обработки речи при восприятии и говорении.

Таким образом, если в классической лингвистике слово выступает как структурная единица языка, то в когнитивной и психолингвистике оно раскрывается ещё и как элемент мышления, сознания и культуры.

Для некоторых языков, например русского, существуют альтернативные взгляды на структуру слов, где есть не столько морфемная, в классическом понимании лингвистики, сколько семантическая или даже этимосмысловая точка зрения. Согласно этой гипотезе, слово – не набор морфем по грамматическим правилам, а сложный смысловой код, в котором корни и звуки (или их элементы) несут глубокие, часто древние значения. Вместо механической комбинации «приставка + корень + суффикс + окончание» получается целостный смысловой образ, в который могут быть вложены сразу несколько семантических значений. И один и тот же элемент может встречаться в разных словах, выражая общую идею.

Например, морфема/корень га – «движение, идти» – а также его вариации в разных словах ассоциируются с перемещением или дорогой:

• дорога – от древнего дръга / доръга, где «га» или «г» может интерпретироваться как «идти», «движение»;

• нога – часть тела, которая даёт возможность двигаться;

• гулять – движение, перемещение (в том числе бесцельное);

• гонец – человек, бегущий с вестью;

• гнать – заставлять двигаться;

• погоня, наго́нка – всё связано с движением.

В этих словах га/го/гу выступает как смысловой корень движения.

Ещё один пример: звук/морфема т как идея твёрдости и проявленности. Звук т трактуется как обозначающий твёрдость, опору, материальность. Это может быть отражением архаических представлений о мире, где глухие взрывные согласные символизировали нечто устойчивое и осязаемое. Вот несколько примеров:

• тело – проявленное, осязаемое;

• твердь – небо как прочная оболочка (библейский термин);

• точка – конкретное место или знак завершения чего-либо (прежде всего предложения в тексте);

• тропа – протоптанный путь, твёрдо обозначенная линия;

• труд – физическое усилие, контакт с материальной реальностью;

• толчок – резкое проявление силы в пространстве.

В такой системе слово воспринимается как многослойный код, где каждый элемент – звук или слог – вносит смысловую лепту.

Например, уже упомянутое слово «нога»:

• но – возможно, связано с понятием «нести»;

• га – движение, идти.

То есть нога – это часть тела, с помощью которой осуществляется перенос тела в пространстве.

Слово «дорога»:

• до – направление, достижение чего-то;

• ро – путь, пространство (возможно связано с корнем рыть, ров);

• га – движение.

Смысл этого слова – «пространственный путь, по которому осуществляется движение к цели».

В текущем контексте важна не столько точность интерпретации, сколько сама идея включения множества смыслов в одну информационную единицу. То есть в одно слово.

Этимосмысловой (или символико-смысловой) подход пытается расшифровывать язык как систему знаков, в которой звуки и корни несут глубинные архетипы, передающиеся через века. Такой приём больше тяготеет к психолингвистике, философии языка, а иногда и к народной этимологии, не всегда научной, но, согласитесь, концептуально интересной.

Понимание слова с этой точки зрения даёт нам представление о том, как язык кодирует мышление и культуру и почему одна и та же форма смысловой единицы может быть такой многозначной, насыщенной и живой.

Общее количество слов, доступных для использования, является одной из важнейших характеристик любого языка. Этот показатель отражает не только его богатство, но и способность выражать разнообразные смыслы, абстрактные понятия, эмоции, научные и культурные идеи. При подсчёте слов есть свои сложности. Например, возникают вопросы, стоит ли считать все формы одного слова отдельными словами, учитывать ли диалектизмы, неологизмы и так далее. Тем не менее, для сравнения, можно привести ориентировочные оценки, основанные на крупнейших словарях и лингвистических исследованиях.

Так, в английском языке, по данным Oxford English Dictionary, насчитывается около 600 тысяч слов, а с учётом архаизмов, диалектов и научной терминологии их количество может превышать миллион. В китайском языке крупнейшие словари – например, Hànyǔ Dà Cídiǎn – содержат свыше 370 тысяч слов, хотя в повседневной жизни носители используют в среднем от 5 до 10 тысяч. Испанский язык, по данным Королевской академии (Real Academia Española), имеет в официальном словаре около 93 тысяч слов, но с учётом региональных вариантов и профессиональной лексики их число может достигать 150–300 тысяч. В русском языке Большой академический словарь фиксирует около 250 тысяч слов, а если учитывать диалектизмы, неологизмы и специальную лексику, этот объём может превышать 500 тысяч. Арабский язык занимает особое место. Благодаря богатой морфологической системе и множеству форм, образованных от одного корня, его словарный состав может достигать полумиллиона и более, а по некоторым оценкам – даже миллиона единиц.

Что касается соотношения частей речи в словаре, то оно достаточно неравномерно. Наибольший пласт составляют существительные. Именно они обозначают огромное множество предметов, явлений, живых существ и абстракций.

Глаголов в словаре количественно меньше, но их роль в языке принципиальна. Они задают динамику речи, позволяют описывать действия, процессы и состояния. Остальные части речи (прилагательные, наречия, местоимения, числительные, служебные слова) занимают более скромное место.

Если посмотреть на частоту использования частей речи в тексте, картина оказывается сложнее. В европейских языках глаголы встречаются особенно часто. Так, в русском и английском, по данным корпусных исследований, глагольные формы составляют около 35–40 % всех словоформ, тогда как существительные – примерно 20–25 %. То есть в речи глаголы звучат гораздо чаще, чем существительные, хотя в словаре их меньше. Это объясняется богатой глагольной морфологией и тем, что глаголы являются «центром» предложения. Именно поэтому многие методики изучения иностранных языков советуют начинать с глаголов. Освоив несколько десятков самых употребительных форм, можно строить базовые фразы и вести простое общение.

В азиатских языках наблюдается иной баланс по частоте использования. В китайском корпусе (Chinese Treebank) существительные составляют около 27 %, а глаголы – лишь 18–20 %. В японском также зафиксирована тенденция к преобладанию существительных в текстах, особенно письменных. Это связано с особенностями грамматики. В результате частотность глаголов здесь ниже, чем в европейских языках, и в речи большее значение приобретают существительные. Эти различия отражают разные способы организации грамматики и построения высказывания.

Словарь языка, его лексика – это не просто количественный показатель, но и отражение культурной, научной и исторической глубины. Чем богаче словарь, тем больше у человека способность мыслить, чувствовать и выражать идеи точно и многослойно. Как в конструкторе LEGO: чем больше у вас строительных блоков, тем больше возможностей для творчества.

Синтаксическая рекурсия: рождение бесконечности

Если слова – это строительные блоки языка, то синтаксис – это правила, по которым эти блоки складываются в более сложные конструкции. Синтаксис естественного языка обладает интересным свойством – рекурсией.

В математике и теории информации рекурсия – это принцип, при котором некий элемент или операция может применяться к самому себе, создавая потенциально бесконечную последовательность однотипных структур.

В языкознании рекурсия – это способность языка вкладывать предложения друг в друга, возможность строить конструкции, внутри которых могут повторяться такие же структурные элементы. Рассмотрим классический пример в виде вложенных предложений:

Я знаю [что он сказал [что она думает [что это правда].

Здесь каждое новое высказывание становится частью предыдущего, создавая вложенность.

Правила синтаксиса позволяют «вкладывать» одну идею в другую, и теоретически этот процесс может продолжаться бесконечно. В результате можно получить огромное количество конструкций из ограниченного набора слов и правил. Это свойство характерно для большинства языков. Благодаря ему язык обладает бесконечной выразительной мощностью. Даже при ограниченном словарном запасе (например, 10 тысяч слов) можно построить миллиарды уникальных высказываний. Это делает язык невероятно гибким, и в то же время структурированным.

Аналогичные свойства можно обнаружить в других областях. Например, музыка использует всего семь нот, но их комбинации в разных ритмах, тональностях и длительностях создают неисчерпаемое множество произведений. Уже упомянутый конструктор LEGO ограничен стандартными блоками, но количество возможных сборок стремится к астрономическим величинам.

Обратите внимание, что создаваемая таким образом потенциальная бесконечность вовсе не хаотична, а всегда математически предопределена исходя из начальных условий. В случае языка – набором слов и правил. Другими словами, всё условно предопределённое и возможное уже существует в виде нераскрытого потенциала.

Рекурсия превращает ограниченность в источник разнообразия, задавая строгие рамки и в то же время открывая безграничное поле для творчества и новых комбинаций. Это универсальное свойство не только языка, но и природы является механизмом построения ещё одной интересной сущности – фрактала.

Фрактал – это геометрическая или абстрактная структура, обладающая свойством самоподобия. Её части повторяют форму целого в разных масштабах. Иными словами, если увеличить фрагмент фрактала, он будет напоминать весь объект. Фракталы могут быть бесконечно сложными при простом правиле построения. В широком смысле фрактал – это не только математическая фигура, но и модель для описания природных явлений, таких как очертания береговой линии, форма облаков, разветвление сосудов и крон деревьев. Фрактал можно понимать как метафору структур, где «часть повторяет целое».

Термин «фрактал» появился в 1970-е годы благодаря французско-американскому математику Бенуа Мандельброту. В 1977 году вышла его книга на английском языке Fractals: Form, Chance and Dimension («Фракталы: форма, шанс и размерность»; на русском языке не издавалась), где он изложил основы новой геометрии. Настоящую известность идея фракталов получила в 1982 году, когда была опубликована ещё одна книга Мандельброта – The Fractal Geometry of Nature («Фрактальная геометрия природы»). В ней автор показал, что многие формы в природе устроены по принципу самоподобия, когда их части напоминают целое, а одна и та же форма повторяется в разных масштабах. В итоге фракталы из математического понятия превратились в идею, которая помогает лучше понять устройство мира: