Количества проиндексированных страниц у Google

[Avadon]

Лопается терпение, помогите успокоится 
Примерно месяц назад закрыл нафиг через роботс несколько сот (около 300 технических) страниц от индексации.
Так вот проблема в том, что сразу в течении недели изменения вступили в силу, но как то странно, количество страниц в индексе осталось столько же, но если пролистать выдачу, то видно что реально в выдаче всего примерно 230 страниц.
Прошёл месяц и ситуация ещё усугубилась, теперь по запросу:  site:animeb.ru выдаёт уже не 600 страниц а 800, то есть ещё прибавилось.
Но блин опять же если пролистать выдачу до конца, то реально показывает опять же примерно около 230 страниц.....
В панели вебмастера заблокированные страницы чётко отображаются:"Заблокирован файлом robots.txt ‎(406)‎" и если искать эти страницы в поиске они не находятся. 
Игорь что за ерунда? Подскажи... неужели надо так долго ждать изменений выдачи гугла, а он между делом пока я жду только увеличивает количество страниц и как посмотреть что за несуществующие страницы он индексирует?

[alexsanris]

В настоящее время robots.txt по моему  работает на половину. Я с этой проблемой столкнулся полгода назад и не только я один .  Если  посмотреть количество страниц (Программа Site- auditor)в индексе поисковых систем Яндекс и Google, то количество страниц очень сильно отличается от "опубликованных". Я борюсь с этим с помощью запретов  через плагин Robots Meta , но это работает только в Wordpress

[mixa33rus]

Из хэлпа гугла:
Блокирование сканирования Google

Следует отметить, что даже если вы запретите поисковым роботам сканировать содержание вашего сайта с помощью файла robots.txt, возможно, что Google обнаружит его другими способами и добавит в индекс. Например, на ваш контент могут ссылаться другие сайты.

Используйте метатег noindex, чтобы содержание не появлялось в наших результатах поиска. При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании.

В общем, если страница попала в индекс гугла, то так просто через robots ее не удалишь.
У меня у сайта news-avtoblog.ru в индексе гугла 1200 страниц, в реале около 300. Много мусора...

На новом сайте тоже стали появляться запрещенные мусорные  страницы. Удалил с помощью фичи "удалить url" в вебмастере. Удалит если страница возвращает код ошибки 404 или индексирование страницы запрещено в файле robots.txt, либо метатегом noindex. Как и в яндексе, там тоже удаление страниц есть.

Добавлено: 02-07-2011, 15:00:09
Планирую спарсить страницы news-avtoblog.ru из выдачи гугла, потом вручную удалять.

[Avadon]

alexsanris, можно ссылку где вы это прочитали?
mixa33rus, всё это я проделал месяц назад, вопрос в том почему по запросу: site:animeb.ru пишет что:"Результатов: примерно 859", хотя реально если просматривать страницы выдачи их всего чуть больше 230?

[Sevab]

Согласен с mixa33rus. Добавлю что еще тег <link rel="canonical" href="основной урл" не помешает.

[mixa33rus]

Avadon, поиск опускает некоторые результаты. На последней странице результатов будет ссылка "Если вы хотите, можно повторить поиск, включив опущенные результаты. "

Добавлено: 02-07-2011, 15:32:13
Но их все-равно меньше. Это я не знаю как объяснить