Не существует никакого единого «индекса». Индексов много, и они разные. Разные настолько, что даже сами поисковые системы сейчас не могут синхронизировать данные, содержащиеся в этих индексах.
Очень интересный материал, мощная теоретическая база, как для учебника