Yati – новая технология анализа текста от Яндекс

На бизнес-конференции YaC 2020 Яндекс заявил о новой технологии для поиска под названием Yati. В переводе на русский язык Yati расшифровывается как: «еще один трасформер с улучшениями». Это новейшая технология разбора текста, в процессе которой заложено, что алгоритмы будут учиться различать связь между содержимым документов и запросом. Такие изменения должны помочь пользователям точнее находить ответы на свои вопросы, и, возможно, добавят работы SEO-специалистам, которые занимаются продвижением сайтов.

Ген.директор Яндекса в России Тигран Худавердян заметил, что Яндекс Поиск приступил к анализу текста, образовываясь на гигантских нейросетях на основе трансформеров.

Как проходит обучение трансформера Yati? Ответственная за качество сортировки в поисковой выдаче Яндекс Екатерина Серажим рассказала, что есть два этапа обучения трансформеров Yati:

1. Для Yati показывают не только обычный текст документа (как это в классической технике поиска), но еще и показывают реальные поисковые запросы, которые видели пользователи. После этого Yati просили угадать, какой из документов понравится пользователю. Эталонным ответом является экспертная разметка работников Яндекс Поиска, которые занимаются оценкой сайтов (асессоры). Эксперты дают оценку по высокой шкале каждому документу, насколько он соответствует запросу.
2. Яндекс берет получившуюся базу данных и учит трансформера отгадывать экспертный анализ.

Сотрудники Яндекс отмечают, что трансформеры значительно улучшили работу поискового алгоритма и будут помогать улучшать его в дальнейшем.