Как определить визуально, прописан ли на сайте robots.txt

[Avadon]

вопрос к знатокам по 301 редиректу.
у неё стоит host с www, а на сайте редирект на host без www.
не стоит ли написать параметр host без www?

[Алинка]

Присоединяюсь к вопросу! И еще хотелось бы уточнить несколько пунктов:
Вот мой робот:
________________
User-Agent: *
Disallow: /cat-6.html
Disallow: /cat-8.html
Disallow: /cat-11.html
Disallow: /cat-7.html
Disallow: /catinfo-621.html
Host: www.ngs-penza.ru

User-agent: Yahoo! Slurp
Disallow: /
User-agent: msnbot
Disallow: /
_________________

Во-первых, что такое Disallow? Что происходит с теми страницами, которые занесены в Disallow?
Во-вторых, обязательно ли заполнять User-Agent? И как правильно его заполнять?
В-третьих, какие ошибки в моем роботе?

[Avadon]

Во-первых, что такое Disallow? Что происходит с теми страницами, которые занесены в Disallow?
Во-вторых, обязательно ли заполнять User-Agent? И как правильно его заполнять?
В-третьих, какие ошибки в моем роботе?

1) Disallow - запрещает индексацию страницы или папки. У вас закрыты к индексации несколько страниц
2) User-Agent - следует заполнять в случае если вы хотите написать правило для определённого робота, обычно пишут *, что означает действие для всех роботов. В данном случае у вас запрещён к индексации сайт целиком, для роботов - Yahoo! Slurp и msnbot
3) меня заинтересовал вопрос по параметру - Host, в предыдущем посте я озвучил свой вопрос, сам не компетентен дать ответ.

Добавлено: 07-04-2011, 11:35:52

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.Опишу ситуацию с явным указанием User-agent, для того чтобы вы поняли, что бывают случаи когда требуется указывать отдельные правила для роботов.
В моём файле роботс указан запрет к индексации страниц поиска (poiskmag.php) и каталога по жанру (janr.php), это сделано для предотвращения появления дублей.
Но в итоге возникли проблемы с рекламой AdSense, так как у меня указано "Информацию о посещениях моих сайтов можно использовать для создания категорий интересов и демографических категорий пользователей", а доступ к сбору информации для этих страниц закрыт. В итоге на этих страницах рекламные объявления выводились очень редко. Для устранения этой проблемы мне пришлось указать для робота "Mediapartners-Google" индивидуальное правило и теперь на страницах запрещённых к индексации реклама от гуугл работает отлично.

[Алинка]

у вас запрещён к индексации сайт целиком, для роботов - Yahoo! Slurp и msnbot

Это плохо, следует отменить запрет?

[Avadon]

если я не ошибаюсь, это вопрос о нагрузке на сервер, а лучше почитайте эту ветку о Yahoo:
http://forum.searchengines.ru/showthread.php?t=183414
это вам поможет понять о чём вообще речь )
msnbot это если я не ошибаюсь майкрософтский поисковик.
Я не запрещаю, но вам лучше подождать , что скажут корифеи оптимизации.