Помогите разобраться с индексацией сайта.

[Jaguar]

Решила заняться наведением порядка на сайте.
Полезла в яндекс и посмотрела какие страницы проиндексированы, оказалось, что в поиске находятся страницы типа: http://мой_сайт/post111, http://мой_сайт/post222 и т.д. Что вообщем-то и требовалось.
Затем открыла в том же Яндексе структуру проиндексированного сайта.
Согласно этим данным, у меня оказались проиндексированы:
*страницы с постами, но уже принадлежащие соответствующим категориям*
мой_сайт
- category_name=idea& 
- category_name=technics&
- category_name=thought&
*на каждую страницу выводится 5 постов, соответственно ниже проиндексировались посты на четырех страницах, в действительности страниц >10*
page/
-2?
* дальше почему-то влезла доп.индексация постов на второй странице еще проиндексированная отдельна по категориям*
--category_name=idea&
--category_name=technics&
-3?
-4?
*а дальше я вообще ничего не понимаю. Проиндексировалась только одна категория техника, часть дат, теги*
-category/
--technics/
--date/
--- 2010/
----07/
----08/
--- 2011/
*теги, которые запрещены к индексации не в robot.txt, а средствами wordpress*
--tag/
*вновь теги, которые запрещены к индексации*
-tag/
*одна категория вместо четырех*
-technics/

Черточками я попыталась описать иерархию вложенности.
Согласно этим данным у меня избыточная переиндексация и мне нужно что-то делать.
Но я не понимаю две вещи:
1. Если у меня переизбыточная индексация, то почему я не вижу в результатах поиска по индексированным страницам своего сайта страницы типа
http://мой_сайт/категория/post111
http://мой_сайт/тэг/post111
http://мой_сайт/2011/08/post111
2. В чем мне надо наводить порядок в robot.txt? В sitemap?
Буду признательна, если укажите, конкретные примеры решения проблемы.

[zloberman]

у вас wordpress

поищите по форуму темы robot.txt для wordpress - поможет удалить зеркала страниц из индексации
поиск по гуглу - внутренняя оптимизация wordpress

[bat]

Сначала делаем robots.txt с таким содержанием:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: вашсайт.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz

Далее просто ждем переиндексации и обновления кеша пс. Если уж очень не терпится можно обратиться в службу поддержки пс с просьбой удалить из выдачи url которых не существует.

[nemetc]

bat, посмотри

знаки вопросов, а должно быть хотя бы:

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

[mark3000]

nemetc, У меня кстати Яндекс такое: Disallow: /*?* читает нормально. это от формы комментария ерунда всякая лезет.

[seo_noob]

Сначала делаем robots.txt с таким содержанием:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: вашсайт.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz

Далее просто ждем переиндексации и обновления кеша пс. Если уж очень не терпится можно обратиться в службу поддержки пс с просьбой удалить из выдачи url которых не существует.

А в чём смысл данного robots.txt? Я вообще в курсе для чего robots.txt служит, но данный что запрещает?

[bat]

Я вообще в курсе для чего robots.txt служит

А в чём смысл данного robots.txt?

данный что запрещает?

Если вы были бы в курсе то не задавали бы таких вопросов.
Если визуально не можете понять что это за папки, то хотя бы ради интереса проследуйте по ссылкам из robots.txt и просмотрите самостоятельно то что там находится, сделав соответствующий вывод нужно это в выдаче ПС или нет.

[azartan]

Jaguar, посмотрите тут правильный роботс для ВП

подправьте свой и через несколько АПов "лишние" страницы выпадут

если проиндексировалась только 1 категория из 4, попробуйте 3 НЕпроиндексированные прогнать по соцзакладкам - помогает ускорить индексацию