Google начал учитывать контекст слов при русскоязычном поиске

Google начал учитывать контекст слов при русскоязычном поиске

13.12.2019     

Компания Google обновила алгоритмы для поиска по русскоязычным сайтам. Это крупнейший апдейт системы за последние пять лет. Его главная цель – улучшить результаты выдачи. 

Значительное нововведение

Google сообщил, что добавил алгоритм BERT в свою поисковую систему для веб-ресурсов на русском языке. Технология усовершенствует механизмы машинного обучения поисковика и позволит лучше понимать запросы пользователей благодаря комплексному анализу вводимых слов. По словам Панду Найака, вице-президента Google, это обновление стало крупнейшим за последние пять лет, а разработка самого алгоритма – грандиозный успех для всей компании. 

Технология BERT (Bidirectional Encoder Representations from Transformers) представлена Google в прошлом году. Она использует возможности нейросетей для предварительного обучения обработке текста на естественном языке. Алгоритм годится не только для формирования поисковой выдачи, но и создания любых других сервисов, работающих с пользовательским контентом по формуле «вопрос-ответ». 

С декабря этого года возможности BERT начали использоваться и для обработки русскоязычного сегмента Google. 

Как работает технология

Результат поиска зависит от того, какие ключевые слова заданы системе. Чаще всего поисковики просто формируют выдачу по релевантности контента сайтов в базе запросу пользователя. Однако такой подход достаточно ограничен в своих возможностях и не учитывает контекст используемых фраз.  

«Когда люди открывают страницу Google Поиска, они не всегда знают, как лучше сформулировать запрос: иногда они не могут подобрать нужные слова или не помнят, как пишутся те или иные термины», – поясняет проблему Панду Найк. 

Алгоритм BERT – это двунаправленная технология обработки языка. Она способна не только анализировать отдельные слова в поисковом запросе, но и учитывать порядок, интерпретировать их по отношению друг к другу. Подобная система гораздо лучше понимает, какая именно информация нужна пользователю вне зависимости от того, каким образом была составлена фраза. Алгоритм одинаково хорошо справляется с запросом и в формате набора ключевых слов, и в виде простых вопросов. 

В качестве примера работы технологии Google приводит результаты выдачи по запросу «Может ли преподаватель выгнать студента с занятия?». Старый алгоритм давал ответ на вопрос «Имеет ли преподаватель право не пустить студента на пару?», что имеет другой смысл. BERT обрабатывает фразу пользователя более правильно, помещая на первую строку подходящий контент. 

 

Что изменится для сайтов

Представители Google никак не прокомментировали влияние нового алгоритма на поисковый трафик для сайтов. Однако они уточнили, что результаты работы BERT должны повысить эффективность поиска по непопулярным низкочастотным запросам. Также технология будет задействована для формирования «нулевой» выдачи – случая, когда Google не может найти релевантные сайты и выводит наиболее близкие к запросу результаты. 



Источник: https://infostart.ru/journal/news/tekhnologii/google-nachal-uchityvat-kontekst-slov-pri-russkoyazychnom-poiske_1167724/
Автор:
Александр Вашкевич Аналитик


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. DenisCh 13.12.19 10:45 Сейчас в теме
Интересно, что он теперь будет выдавать на слово "сказочный" ? ))
MikhailDr; dimisa; narutouzumaki_13; Dmitri93; +4 Ответить
3. MikhailDr 16.12.19 07:59 Сейчас в теме
(1)я даже знаю какая там будет картинка в выдаче
2. VmvLer 13.12.19 11:00 Сейчас в теме
Главная цель совсем другая и не только у гугла
Оставьте свое сообщение

См. также

Не стало главы Samsung – Ли Гонхи

Новость ИТ-новость Новости компаний

На 79 году жизни скончался владелец и председатель компании Samsung Ли Гонхи (Lee Kun-hee), возглавлявший ее с 1987 года по 2014 годы. Под его руководством компания из небольшого корейского производителя выросла в крупную международную корпорацию.

вчера в 13:44    1215    user-programmist    0       

Windows 10 уличили в самовольной установке приложений Office на ПК

Новость Windows Google ИТ-новость

Пользователи Windows 10 стали обнаруживать ярлыки приложений Office, которые внезапно появились в меню «Пуск». Люди были уверены, что не устанавливали эти приложения Microsoft.

29.10.2020    1289    user1015646    1       

Microsoft выпустила приложение для обучения нейросетей без программирования

Новость Искусственный интеллект ИТ-новость

Microsoft представила приложение Lobe, которое позволяет создавать модели машинного обучения. Сейчас сервис поддерживает только классификацию изображений, но разработчики обещают расширить функционал.

29.10.2020    1542    VKuser24342747    0       

Microsoft Edge оказался более производительным на Linux, чем на Windows

Новость Linux Интернет ИТ-новость

Веб-разработчики протестировали работу браузера Microsoft Edge на системе Linux. Приложение показало неплохие результаты тестов, не отставая от своих конкурентов и иногда даже обгоняя их.

28.10.2020    1138    VKuser24342747    12       

GitHub запускает собственную систему сертификации

Новость GitHub ИТ-новость

Крупнейший хостинг git-репозиториев кода запустил программу сертификации. Она поможет восполнить пробелы в знаниях и получить официальный электронный документ об умении работать с системой контроля версий.

27.10.2020    1873    user1015646    0       

Браузер Microsoft Edge перешел на новый API расширений

Новость Интернет ИТ-новость

Разработчики Microsoft перевели браузер Edge на новый API расширений. Такой шаг призван уменьшить сегментацию интернет-браузеров, сократить различия между ними и, в конечном итоге, сделать использование сети комфортнее для пользователей.

27.10.2020    1321    user1015646    0       

Роскомнадзор завладел доменом .SU после уголовного преследования основателя Рунета

Новость Интернет ИТ-новость Роскомнадзор

Роскомнадзор стал учредителем компании, которая владеет правами на доменную зону СССР .SU. Ранее домен принадлежал Фонду развития интернета, но организация отказалась от управления из-за уголовного дела против ее основателя Алексея Солдатова.

27.10.2020    1346    VKuser24342747    5       

ИИ научился искать неформальных лидеров в коллективе

Новость Кадровые агентства, подбор персонала Искусственный интеллект ИТ-новость

Компания Yva.ai разработала систему поведенческой HR-аналитики на базе искусственного интеллекта. Она может по набору признаков определить потенциальных или действующих неформальных лидеров в коллективе.

26.10.2020    1566    user-programmist    0       

ЦОДы могут перестать работать из-за обязательной удаленки

Новость Дата-центры ИТ-новость

Мэр Москвы Сергей Собянин подписал указ, согласно которому 30% сотрудников компаний нужно перевести на удаленку. Владельцы дата-центров попросили вывести их бизнес из-под этого указа, так как их инженеры не могут нормально работать из дома.

26.10.2020    1176    user1015646    1       

Минцифры запустит пилотную версию единой госинфосистемы

Новость ИТ-новость Минкомсвязь Цифровая экономика

Правительство одобрило экспериментальный запуск платформы «Гостех». Этот единый сервис должен объединить ключевые государственные информационные системы.

23.10.2020    1501    VKuser24342747    5       

Долой монополистов: власти США взялись за Google, Microsoft и Amazon

Новость Google ИТ-новость Новости компаний Судебная практика

Американский Минюст подал в суд на Google. ИТ-гиганта обвиняют в нарушении антимонопольного законодательства. Кроме того, Конгресс США намерен раздробить Apple, Google, Facebook и Amazon – также чтобы противодействовать монополиям на рынке.

23.10.2020    1359    user1015646    20       

«Ростех» представил новый гаджет, позволяющий звонить вне зоны доступа к сотовой сети

Новость Гаджеты ИТ-новость Телекоммуникации

Российский холдинг «Росэлектроника» входящий в состав госкорпорации «Ростех» разработал радиотрекер «Гончак». Устройство подключается к смартфону и позволяет совершать звонки, передавая сигнал на другие устройства в сети в радиусе 20 километров.

22.10.2020    1968    user-programmist    14       

Microsoft выпустила релиз-кандидат .NET 5

Новость ИТ-новость Новости компаний Языки программирования

13 октября разработчики Microsoft выпустили релиз .NET 5.0 Release Candidate 2 (RC2). Это почти финальный выпуск .NET 5.0 и последний из двух RC перед официальным выпуском в ноябре.

22.10.2020    2302    SKravchenko    2       

«Ростелеком»: 5G-связи в европейской части России не будет

Новость ИТ-новость Телекоммуникации

Совет безопасности определился, какие частоты подойдут российским операторам для развертывания 5G-сетей. Но «Ростелеком» утверждает, что в выбранном диапазоне невозможно распространять сигнал по европейской части РФ.

21.10.2020    1769    VKuser24342747    1       

Прощай, G Suite: набор облачных сервисов переименовали в Google Workspace

Новость Google ИТ-новость Новости компаний

Компания Google провела ребрендинг облачных сервисов. Теперь G Suite называются Google Workspace, и они получили несколько новых возможностей.

20.10.2020    2578    user1015646    0       

Начато производство «первой в мире» сверхскоростной памяти DDR5

Новость ИТ-новость Микроэлектроника

SK hynix представила «первые в мире» чипы DDR5. Новая энергозависимая память, как утверждают в южнокорейской компании, почти вдвое производительнее DDR4 и на 20% экономнее использует заряд батареи. Емкость модулей может достигать 256 ГБ.

20.10.2020    1987    user-programmist    2       

Дорожная карта Kotlin: новый компилятор и WebAssembly

Новость ИТ-новость Языки программирования

Kotlin – статически типизированный язык, разработанный JetBrains для JVM, Android и веб-разработки. В скором времени он должен получить новый компилятор, мультиплатформенные мобильные улучшения и серверную часть компилятора Kotlin-to-WebAssembly.

16.10.2020    2869    SKravchenko    0       

Российские инженеры создали процессор «Эльбрус» по техпроцессу 16 нм

Новость Импортозамещение ИТ-новость Микроэлектроника Новости компаний

Компания МЦСТ представила первый 16-нанометровый процессор, разработанный полностью на российских технологиях. Микрочип также стал первым отечественным ЦПУ с частотой 2 ГГц.

15.10.2020    2398    VKuser24342747    1       

Первый робот-товароукладчик, управляемый через VR, выходит на работу

Новость Автоматизация Искусственный интеллект ИТ-новость Робототехника

Робот-товароукладчик Model-T с VR-управлением готов приступить к первой рабочей смене в магазине. При наличии стабильного интернета оператор может управлять роботом откуда угодно.

15.10.2020    2238    user-programmist    4       

Объем программного кода в компаниях за 10 лет вырос в 100 раз

Новость GitHub ИТ-новость

Количество репозиториев и объем программного кода в них с 2010 года увеличились в 100 раз. Такие данные привели создатели движка Sourcegraph для навигации по репозиториям кода.

15.10.2020    1898    user1015646    4       

JetBrains выпустила инструмент для совместной разработки Code With Me

Новость ИТ-новость Новости компаний Разработка

JetBrains открыла ранний доступ к новому инструменту для удаленной совместной разработки и парного программирования Code With Me. Он представлен в виде плагина, доступного в IntelliJ IDEA и других IDE на основе IntelliJ, начиная со сборки 2020.2.x.

14.10.2020    2824    capitan    1       

Выпущен новый релиз языка программирования Python 3.9

Новость ИТ-новость Языки программирования

5 октября Python Software Foundation выпустила Python 3.9. Раньше команда Python придерживалась 18-месячного цикла разработки, но теперь перешла на годовой цикл. Python 3.9 внес существенные изменения как в сам язык, так и в способы его разработки.

14.10.2020    2941    SKravchenko    2       

Microsoft разработала единый интерфейс для совместной работы классических и квантовых вычислений

Новость ИТ-новость Новости компаний Языки программирования

Microsoft анонсировала промежуточное представление QIR (квантовое промежуточное представление), которое выполняет роль общего интерфейса между языками программирования и целевыми платформами квантовых вычислений.

13.10.2020    1827    SKravchenko    3       

Нейросеть неделю выдавала себя за человека на Reddit

Новость Искусственный интеллект ИТ-новость Соцсети

На Reddit появился странный автор, который за считанные секунды публиковал к постам длинные и содержательные комментарии. Один из пользователей соцсети заинтересовался этим аккаунтом и пришел к выводу, что его ведет нейросеть.

13.10.2020    2022    VKuser24342747    7       

Россия намерена запустить аналог TikTok

Новость Mail.Ru ИТ-новость Телекоммуникации

В РФ может появиться собственный сервис для коротких видео. Отечественный аналог TikTok будет ориентирован на школьников: здесь планируют бороться с запрещенными тематиками и негативом.

09.10.2020    2862    user1015646    9