Мы ещё со времен «Королёва» развивали модели, понимающие смысл, а не только содержание слов — научились кластеризовать документы, понимать, к каким кластерам документов относится запрос и после этого искать только в этих кластерах.

Если раньше любой запрос искал по всем документам, сейчас мы можем его отправлять только в те кластера, в которых с высокой вероятностью может содержаться релевантный ответ.

Мы стали лучше понимать на самых ранних стадиях, какие документы «хорошие», и отправлять меньше документов на более поздние, «тяжелые», стадии ранжирования.

Кажется, никто кроме нас так не умеет. Это радикально новый подход, который привёл к заметному улучшению качества поиска.

На бытовом уровне мы можем позволить себе хранить документы, которые будут нужны один раз в год одному человеку из всей нашей аудитории. Например, какой-то редкий документ на китайском языке, который может понадобиться жителю Дальнего Востока по какому-то запросу.