Из индекса вылетают, как правило, действительно «мёртвые» страницы и за это, вероятно, я должен быть благодарен поисковику.
Google же в свою очередь наоборот, мало того, что стал удалять из индекса некоторые страницы, которые не потеряли актуальности, так и новые добавляет лишь когда ему «захочется», а хотеть даже если подсказываешь куда идти и где читать — так и не хочет.
К слову, сделал для себя вывод, что, например те же карты сайта (sitemap.xml) — абсолютно бесполезны, если мы говорим про поисковые роботы от Google, их наличие не даст гарантии того, что страница окажется в индексе.
На всякий случай поясню, чтобы страница оказалась в первых позициях в выдаче, ей для начала вообще в эту самую выдачу надо попасть. И вот если с первым (попадание в лидерские точки) — очевидно, что туда все хотят, лупасят бабосики и здесь всё понятно, заплати самому Google и ты будешь впереди, то попасть в конец очереди всегда можно было и не заплатив ни рубля.
Так же, для желающих «бесплатно попасть в конец очереди», были придуманы различные инструменты, такие как sitemap.xml и специальный инструмент Google, где Вы можете сделать запрос на индексирование страницы. Нет, сегодня у Google не работает ни один из этих инструментов, а если и работает, то как-то «выборочно». Если качество инструмента оставляет желать лучшего, то зачем Вы его предоставляете в таком случае?
И вот как раз этот инструмент и может выдать результат «Обнаружена, не проиндекирована», что на деле означает — что видим, что есть такая страница, но наши сервера настолько были загружены, что не нашли возможности провести индексацию запрошенной Вами страницы.
