Статья ниже оказалась сложной для перевода, но так как я сам столкнулся с проблемой индексации, пришлось разобраться. Способ, упомянутый здесь помог.
Примерно понял текст, но очень много вопросов осталось
Перечитывал исходник много раз...такое же ощущение, но замена URL действительно помогла.