скачать книгу бесплатно
Законный вопрос: откуда Google знает, какие синонимы, термины и сопутствующие слова соответствуют не только всей теме, но и конкретному запросу. Не забывайте, что есть искусственный интеллект, со своей первоначальной базой.
И далее в Google индексе сотни миллиардов страниц (а может и больше), и, анализируя эти страницы, искусственный интеллект постоянно пополняет эту базу данных.
Если Google видит, что с набором определенных групп слов станица пользуется у посетителей популярностью, её цитируют, то из таких страниц и выбираются дополнительно LSI-фразы, и пополняют базу данных.
Более сложный процесс ранжирования сайтов, когда длинный запрос (такие запросы называются запросами с длинным хвостом), и никогда прежде не вводился.
Проблема в том, что Google обрабатывает почти четыре миллиарда запросов в день. В 2007 году Google заявил, что до 25 процентов этих запросов никогда раньше не видел. В 2013 году эта цифра снизилась до 15 процентов, о чем сообщал Bloomberg, и Google подтвердил это. А к концу 2021 года таких запросов осталось 13%.
Но 13 процентов из 4 миллиардов – это по-прежнему огромное количество запросов, которые никогда не вводил ни один человек. Это почти пол миллиарда новых запросов в день.
Среди них могут быть сложные запросы, состоящие из нескольких слов, которые также называются «длинными хвостами».
RankBrain разработан, чтобы помочь лучше интерпретировать эти запросы, чтобы найти лучшие страницы для поисковика.
Как утверждает Google, он может улавливать закономерности между, казалось бы, не связанными сложными запросами, чтобы понимать, насколько они на самом деле похожи друг на друга. Это самообучающая программа, в свою очередь, позволяет лучше понять будущие сложные поиски, и их связь с конкретными темами. Самое главное, исходя из того, что Google сообщил нам, он может затем связать эти группы поиска с результатами, которые, по его мнению, понравятся пользователям.
Google не предоставляет примеры групп поиска и не даёт подробных сведений о том, как RankBrain угадывает, какие страницы являются лучшими. Но последнее, вероятно, объясняется тем, что, если он может перевести неоднозначный поиск во что-то более конкретное, он может затем ранжировать и выводить лучшие ответы.
Я сделал такое длинное описание, что бы было понятно, что какой-то прыщавый копирайтер не получит высокой оценки за свою работу после анализа его статьи Google RankBrain, если в ранжировании учувствуют специалисты из области, в которой мальчик написал статью.
Но хорошо подготовленный специалист в своей статье раскроет тему так, что его статья будет высоко позиционироваться по нескольким ключевым фразам. Google RankBrain, как хороший специалист видит уровень написанного текста. Да он не понимает текст, а поэтому прыщавый копирайтер уже не может навешать ему лапшу на уши.
Алгоритм Google BERT
BERT: Сравнительно новый алгоритм Google, который обещает революцию в поисковой выдаче
Google уже стал настолько сложной частью жизни людей, что многие из нас общаются непосредственно с ним.
Пользователи делают запросы: «как мне попасть на рынок» или «когда начнется весна», как будто они естественно разговаривают с человеком. Но стоит помнить: Google состоит из алгоритмов, которые упакованы в фильтры.
И это один из тех алгоритмов – Google BERT – который помогает поисковой системе понять, о чем просят люди, и дает ответы, которые они хотят.
Правильно: боты не люди, но технологии настолько продвинулись вперед, что могут понимать человеческий язык, включая сленг, ошибки, синонимы и языковые выражения, присутствующие в нашей речи, а мы даже не замечаем.
Этот новый поисковый алгоритм был создан Google, чтобы лучше понимать поисковые намерения пользователей и содержание веб-страниц.
Но как это работает? И как это влияет на ваши стратегии SEO?
Давайте все сейчас разберемся:
Что такое Google BERT?
Google BERT – это алгоритм, который улучшает понимание человеческого языка поисковой системой.
Это важно во вселенной поиска, поскольку люди спонтанно выражают себя в поисковых запросах и содержании страниц, а Google работает над тем, чтобы найти правильное соответствие между одним и другим.
BERT – это аббревиатура от Bidirectional Encoder Representations from Transformers (двунаправленных представлений кодировщика от трансформеров). Сбивает с толку? Давайте объясним это лучше!
Чтобы понять, что такое BERT, нам нужно разобраться с некоторыми техническими терминами, хорошо?
Во-первых, BERT – это нейронная сеть.
Вы знаете, что это такое?
Нейронные сети – это компьютерные модели, вдохновленные центральной нервной системой животных, которые могут обучаться и распознавать закономерности. Они являются частью машинного обучения.
В случае BERT нейронная сеть способна изучать формы выражения человеческого языка. Он основан на модели обработки естественного языка (NLP), называемой Transformer, которая понимает отношения между словами в предложении, а не просматривает их по очереди.
BERT – это предобучающая модель обработки естественного языка. Это означает, что набор данных модели обучается в текстовом корпусе (например, в Википедии) и может использоваться для разработки различных систем.
Например, можно разработать алгоритмы, ориентированные на анализ вопросов, ответов или настроений.
Все это находится в области искусственного интеллекта. То есть все делают боты!
После программирования алгоритм непрерывно изучает человеческий язык, обрабатывая миллионы получаемых данных.
Но помимо мира искусственного интеллекта, который больше похож на научную фантастику, важно знать, что BERT понимает весь контекст слова – термины, которые идут до и после, и отношения между ними – что чрезвычайно полезно для понимания содержания сайтов и намерения пользователей при поиске в Google.
Когда был выпущен BERT?
В ноябре 2018 года Google запустила BERT с открытым исходным кодом на платформе GitHub.
С этого момента каждый может использовать предварительно обученные коды и шаблоны BERT для быстрого создания собственной системы.
Сам Google использовал BERT в своей поисковой системе. В октябре 2019 года Google объявил о своем самом большом обновлении за последнее время: внедрении BERT в алгоритм поиска на английском языке.
Google уже принял модели для понимания человеческого языка, но это обновление было объявлено одним из самых значительных скачков в истории поисковых систем.
Изначально BERT был запущен только в США и на английском языке. Но к декабрю 2019 года модель уже была расширена до более чем 70 языков. Таким образом, результаты поиска по всему миру стали более качественными.
Что такое НЛП?
Если кто-то думает, что здесь речь пойдет о нейро-лингвистическом программировании, то нет. Здесь рассматриваем другое НЛП.
Чтобы объяснить, что такое BERT, мы упомянули, что этот алгоритм является моделью обработки естественного языка (NLP).
НЛП – это область искусственного интеллекта, которая сходится с лингвистикой при изучении взаимодействия человека и вычислительных языков. Намерение состоит в том, чтобы заполнить пробелы между одним языком и другим и заставить их общаться.
Этот тип системы существует уже давно, начиная с работы Алана Тьюринга в 1950-х годах.
Но именно в 1980-х годах модели НЛП оставили свои рукописи и были внедрены в искусственный интеллект. С тех пор компьютеры обрабатывают большие объемы данных, что произвело революцию в отношениях между людьми и машинами.
Мы можем не замечать этого в нашей повседневной жизни, но наше вербальное выражение чрезвычайно сложно и разнообразно.
Существует так много языков, синтаксических правил, семантических отношений, сленгов, поговорок, сокращений и ежедневных ошибок, что порой люди едва понимают друг друга!
Это становится еще сложнее для компьютеров, поскольку мы используем для них неструктурированный язык, которому затем нужны системы, чтобы понять его.
Для этого в НЛП используется ряд техник, таких как абстрагирование того, что не имеет отношения к тексту, исправление орфографических ошибок и приведение слов к их радикальным или инфинитивным формам.
Оттуда можно структурировать, сегментировать и классифицировать контент, чтобы понять, как части имеют смысл вместе. Затем система также вырабатывает ответ на естественном языке для взаимодействия с пользователем.
Такая система позволяет, например, сказать «Алекса, расскажи мне рецепт шоколадного торта», а виртуальный помощник Amazon отвечает ингредиентами и способом приготовления. Заметьте, что ответ не содержит слов Алекса, расскажи мне, а выдаёт ответ, которого ждет пользователь.
Это решение используется сегодня в нескольких ресурсах, таких как взаимодействие с чат-ботами, автоматический перевод текстов, анализ эмоций в мониторинге социальных сетей и, конечно же, поисковая система Google.
Заменил ли BERT RankBrain?
Google постоянно изучает способы улучшения взаимодействия с пользователем и достижения наилучших результатов. Это не начинается и не заканчивается с BERT.
В 2015 году поисковая система объявила об обновлении, которое изменило поисковую вселенную: RankBrain.
Алгоритм впервые использовал искусственный интеллект для понимания контента и поиска.
Как и BERT, RankBrain также использует машинное обучение, но не выполняет обработку естественного языка. Метод фокусируется на анализе запросов и группировании слов и фраз, которые семантически похожи, но не могут понимать человеческий язык сами по себе.
Таким образом, когда в Google делается новый запрос, RankBrain анализирует прошлые поисковые запросы и определяет, какие слова и фразы лучше всего соответствуют этому запросу, даже если они не соответствуют точно или никогда не искались.
Получая сигналы взаимодействия с пользователем, боты узнают больше о взаимосвязях между словами и улучшают рейтинг.
Таким образом, это был первый шаг Google в понимании человеческого языка. Даже сегодня это один из методов, используемых алгоритмом для понимания целей поиска и содержимого страницы, чтобы предоставить пользователям лучшие результаты.
Таким образом, BERT не заменил RankBrain – он просто принес еще один метод понимания человеческого языка. В зависимости от запроса алгоритм Google может использовать любой метод (или даже комбинировать оба), чтобы предоставить пользователю наилучший ответ.
Имейте в виду, что алгоритм Google формируется из огромной сложности правил и операций. RankBrain и BERT играют значительную роль, но они являются лишь частью этой надежной поисковой системы.
Как работает Google BERT?
Одним из отличий Google от других систем обработки языка является его двунаправленный характер. Но что это значит?
Другие системы являются только однонаправленными. То есть они только контекстуализируют слова, используя термины, которые находятся слева или справа от них в тексте.
BERT работает в обоих направлениях: анализирует контекст слева и справа от слова. Это приводит к гораздо более глубокому пониманию отношений между терминами и между предложениями.
Другое отличие заключается в том, что BERT строит языковую модель с небольшим текстовым корпусом.
В то время как другие модели используют большие объемы данных для обучения машинному обучению, двунаправленный подход BERT позволяет обучать систему более точно и с гораздо меньшим объемом данных.
Таким образом, после обучения модели в текстовом корпусе (например, в Википедии) она проходит «тонкую настройку».
На этом этапе BERT подвергается конкретным задачам с входными и выходными данными в соответствии с тем, что вы хотите, чтобы он делал. Именно тогда он начинает адаптироваться к различным требованиям, таким как вопросы и ответы или анализ настроений.
Обратите внимание, что BERT – это алгоритм, который можно использовать во многих приложениях. Поэтому, когда мы говорим о Google BERT, мы говорим о его применении в поисковой системе.
В Google BERT используется для понимания поисковых намерений пользователей и содержимого, индексируемого поисковой системой.
В отличие от RankBrain, ему не нужно анализировать прошлые запросы, чтобы понять, что имеют в виду пользователи. BERT понимает слова, фразы и весь контент так же, как и мы. Ну, почти, как мы.
Но также поймите, что эта модель НЛП – только часть алгоритма. Google BERT понимает, что означают слова и как они связаны друг с другом.
Google по-прежнему нужна вся работа остального алгоритма, чтобы связать поиск со страницами индекса, выбрать лучшие результаты и ранжировать их в порядке значимости для пользователя.
Почему Google BERT важен для удобства поиска?
Теперь мы немного оставим в стороне ИТ-термины, чтобы поговорить о том, что BERT означает для поиска Google.
Вы понимаете, что алгоритм помогает Google расшифровывать человеческий язык, но какое это имеет значение для поиска пользователя?
Важно помнить, что миссия Google состоит в том, чтобы систематизировать весь контент в Интернете, чтобы предоставить пользователям наилучшие ответы.
Для этого поисковая система должна понимать, что ищут люди и о чем говорят веб-страницы. Таким образом, он может обеспечить правильное соответствие между ключевыми словами и веб-контентом.
Например, когда вы ищете «густая коса», поисковик понимает, что «коса» в вашем запросе не относится к косе на реке, и не относится к режущему инструменту, или песчаной отмели в море.
Если вы искали «рецепты еды» (с орфографической ошибкой), она также поняла бы, что вы имели в виду.
BERT понимает значение этого слова в ваших поисковых запросах и в содержимом проиндексированных страниц.
Но искатель идет дальше: он также понимает намерение, стоящее за этим поиском.
Выполняя этот поиск, Google понимает, что вы возможно ищете компанию рядом с вами. Таким образом, на странице результатов, вероятно, будут показаны учреждения, которые предоставляют такого рода услуги в вашем регионе, особенно если у них есть хорошая локальная стратегия SEO.
Таким образом, Google становится более интеллектуальным, чтобы предоставлять результаты, которые действительно предоставляют то, что хотят найти пользователи. Это опыт поиска, который Google хочет предложить.
Однако на заре существования Google не все поисковые запросы давали то, что искал пользователь. Поисковик был ограничен точным соответствием ключевому слову.
То есть, когда человек вводил, например, «купить обувь», он мог предоставить результаты только страниц, на которых использовался именно это сочетание слов. Сейчас алгоритмам достаточно понять, что пользователь ищет интернет-магазин, и предоставит ему на выбор туфли, если это летом, а зимой – сапоги. И, как правило, слов из запроса может и не быть на сайте.
С момента выхода RankBrain Google уже начал понимать, что «забота» очень близка к «как заботиться». Таким образом, поисковая система также будет показывать страницы с терминами «как ухаживать за больным».
BERT дает Google понять, что человек хочет знать, как ухаживать за больным, не придерживаясь точных ключевых слов.
Проблема в том, что первоначальная модель точного соответствия ключевых слов Google создала интернет-пороки. Чтобы появиться в поисковой системе, многие сайты начали использовать ключевые слова в тексте именно так, как будет искать пользователь. Тем не менее, это делает чтение в некоторых случаях бессмысленным.
Подумайте, какой текст стали бы вы читать.
Тот, в котором естественно говорится об уходе за больным, или текст, в котором несколько раз повторяется «уход за больным», но этот текст не содержал бы каких-либо рекомендаций, или не имел никакого смысла?
Таким образом, переход Google к пониманию целей поиска также улучшает впечатления пользователя от чтения.
Сайты ориентированы на создание контента на естественном языке с использованием терминов, понятных читателю.
При этом Google также борется с заполнением ключевых слов, практикой черных методов продвижения, которые нарушает политику поисковых систем. Поэтому пользователь только выигрывает!
Каково влияние BERT на поисковую выдачу?
Когда Google запустил BERT, было сказано, что обновление затронет около 10% поисковых запросов в США.
