Количества проиндексированных страниц у Google

Автор Тема: Количества проиндексированных страниц у Google  (Прочитано 984 раз)

Оффлайн AvadonАвтор темы

  • Ветеран
  • *****
  • СПАСИБО: 492
  • Сообщений: 1358
  • Карма: 40
  • Пол: Мужской
  • festina lente
  • Награды Мастер вывода в Яндекс ТОП 1 Google ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля
    • Аниме скачать бесплатно
Лопается терпение, помогите успокоится  ???
Примерно месяц назад закрыл нафиг через роботс несколько сот (около 300 технических) страниц от индексации.
Так вот проблема в том, что сразу в течении недели изменения вступили в силу, но как то странно, количество страниц в индексе осталось столько же, но если пролистать выдачу, то видно что реально в выдаче всего примерно 230 страниц.
Прошёл месяц и ситуация ещё усугубилась, теперь по запросу:  site:animeb.ru выдаёт уже не 600 страниц а 800, то есть ещё прибавилось.
Но блин опять же если пролистать выдачу до конца, то реально показывает опять же примерно около 230 страниц.....
В панели вебмастера заблокированные страницы чётко отображаются:"Заблокирован файлом robots.txt ‎(406)‎" и если искать эти страницы в поиске они не находятся. 
Игорь что за ерунда? Подскажи... неужели надо так долго ждать изменений выдачи гугла, а он между делом пока я жду только увеличивает количество страниц и как посмотреть что за несуществующие страницы он индексирует?
скачать аниме бесплатно и без регистрации | Анатолий Вассерман

Оффлайн alexsanris

  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 16
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • Программы для сайта
В настоящее время robots.txt по моему  работает на половину. Я с этой проблемой столкнулся полгода назад и не только я один .  Если  посмотреть количество страниц (Программа Site- auditor)в индексе поисковых систем Яндекс и Google, то количество страниц очень сильно отличается от "опубликованных". Я борюсь с этим с помощью запретов  через плагин Robots Meta , но это работает только в Wordpress

Оффлайн mixa33rus

  • Ветеран
  • *****
  • СПАСИБО: 215
  • Сообщений: 945
  • Карма: 50
  • Пол: Мужской
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Сайт автомобилей - автомобильные новости,  обзор авто
Из хэлпа гугла:
Блокирование сканирования Google

Цитировать
Следует отметить, что даже если вы запретите поисковым роботам сканировать содержание вашего сайта с помощью файла robots.txt, возможно, что Google обнаружит его другими способами и добавит в индекс. Например, на ваш контент могут ссылаться другие сайты.

Цитировать
Используйте метатег noindex, чтобы содержание не появлялось в наших результатах поиска. При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании.

В общем, если страница попала в индекс гугла, то так просто через robots ее не удалишь.
У меня у сайта news-avtoblog.ru в индексе гугла 1200 страниц, в реале около 300. Много мусора...

На новом сайте тоже стали появляться запрещенные мусорные  страницы. Удалил с помощью фичи "удалить url" в вебмастере. Удалит если страница возвращает код ошибки 404 или индексирование страницы запрещено в файле robots.txt, либо метатегом noindex. Как и в яндексе, там тоже удаление страниц есть.


Добавлено: 02-07-2011, 15:00:09

Планирую спарсить страницы news-avtoblog.ru из выдачи гугла, потом вручную удалять.
« Последнее редактирование: 02-07-2011, 15:00:09 от mixa33rus »
Побеждает в этой жизни только тот, кто победил сам себя. Кто победил свой страх, свою лень, и свою неуверенность.
устройство автомобиля

Оффлайн AvadonАвтор темы

  • Ветеран
  • *****
  • СПАСИБО: 492
  • Сообщений: 1358
  • Карма: 40
  • Пол: Мужской
  • festina lente
  • Награды Мастер вывода в Яндекс ТОП 1 Google ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля
    • Аниме скачать бесплатно
alexsanris, можно ссылку где вы это прочитали?
mixa33rus, всё это я проделал месяц назад, вопрос в том почему по запросу: site:animeb.ru пишет что:"Результатов: примерно 859", хотя реально если просматривать страницы выдачи их всего чуть больше 230?
скачать аниме бесплатно и без регистрации | Анатолий Вассерман

Оффлайн Sevab

  • Администратор
  • *****
  • СПАСИБО: 3724
  • Сообщений: 9842
  • Карма: 345
  • Пол: Мужской
    • Просмотр профиля
    • Trust Directory Project
Согласен с mixa33rus. Добавлю что еще тег <link rel="canonical" href="основной урл" не помешает.

Оффлайн mixa33rus

  • Ветеран
  • *****
  • СПАСИБО: 215
  • Сообщений: 945
  • Карма: 50
  • Пол: Мужской
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Сайт автомобилей - автомобильные новости,  обзор авто
Avadon, поиск опускает некоторые результаты. На последней странице результатов будет ссылка "Если вы хотите, можно повторить поиск, включив опущенные результаты. "


Добавлено: 02-07-2011, 15:32:13

Но их все-равно меньше. Это я не знаю как объяснить :)
« Последнее редактирование: 02-07-2011, 15:32:13 от mixa33rus »
Побеждает в этой жизни только тот, кто победил сам себя. Кто победил свой страх, свою лень, и свою неуверенность.
устройство автомобиля

 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
639 Просмотров
Последний ответ 28-07-2010, 01:34:18
от Chiliec
11 Ответов
1651 Просмотров
Последний ответ 02-09-2010, 23:25:54
от overnight
3 Ответов
458 Просмотров
Последний ответ 11-01-2011, 17:57:13
от orochimaru6
6 Ответов
488 Просмотров
Последний ответ 08-10-2011, 17:08:32
от Rissen
5 Ответов
394 Просмотров
Последний ответ 10-10-2011, 01:39:46
от Cergo
3 Ответов
390 Просмотров
Последний ответ 22-01-2012, 12:37:53
от SpecBlog
4 Ответов
448 Просмотров
Последний ответ 20-02-2012, 13:07:50
от makslm