Писать Платону или ещё рано?

[Michael J Fox]

Всех приветствую! и всех с Наступившим Новым Годом!
У меня вот какая проблемка, начиная с 30-го числа в геометрической прогрессии начали создаваться дубли страниц сайта (ровно в два раза выросли), долго не мог понять в чём проблема, в итоге нашёл два решения.
Первое - закрыть папку /components/ от индексации (движок джумла)
Второе - ручная замена пары файлов php, которое позволит избежать дублирования страниц

Вот я и думаю, может написать Яше, что как бы всё закрыто от индексации, но дубли всё равно возникают? Или ждать новой выдачи в результате которой лишние дубли выпадут из индекса.

И вот ещё что беспокоит, если закрыть в Disallow: /components/ то страницы с контентом не вылетят ли вообще из индекса?

[Владимир75]

Примерно такой роботс должен быть у  джумлы

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?option=com_virtuemart
Disallow: /index2.php?
Disallow: /index.php/


Sitemap: /index.php?option=com_xmap&sitemap=1&view=xml


User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?option=com_virtuemart
Disallow: /index2.php?
Disallow: /index.php/


Host: : основное зеркало сайта

[Michael J Fox]

В принципе у меня такой стоит, ну точнее стоял.
До сегодняшнего дня не было этой строчки Disallow: /components/
но дублей то страниц тоже не было. Всё возникло внезапно)
я просто боюсь, что если поставить Disallow: /components/ то новые статьи не будут индексироваться, а старые выпадут из индекса.
в components есть папка com_content, которая отвечает за отображение статей и пагинацию
Добавлено: 02-01-2012, 01:02:13
хотя с другой стороны, смотрю сайты на джумла, у большинства стоит строчка Disallow: /components/ и на индексацию у них вроде не  влияет
Добавлено: 02-01-2012, 01:21:27

Примерно такой роботс должен быть у  джумлы

вот настроил вроде у себя его, как считаете правильно? или чего то не хватает?
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?
Disallow: /index.php/
Disallow: /vote/vote_start_data
Disallow: /vote/admin-files
Sitemap: http://voxlex.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: Yandex
Disallow: /administrator/
Disallow: /components/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?
Disallow: /index.php/
Disallow: /vote/vote_start_data
Disallow: /vote/admin-files
Host: voxlex.ru

[Brefeo]

Компоненты закрывал изначально, проблем нет. Смысла держать их открытыми не вижу. Все индексируется.
Проблему с дублями решал здесь, и больше этот вопрос не волновал : http://joomla.zvirec.com/lessons/8-raznoe/63-dubli.html

[Michael J Fox]

Компоненты закрывал изначально, проблем нет. Смысла держать их открытыми не вижу. Все индексируется.
Проблему с дублями решал здесь, и больше этот вопрос не волновал : http://joomla.zvirec.com/lessons/8-raznoe/63-dubli.html

Да. Я тоже нашёл там решение. Но за ссылку всё равно спасибо. Просто подожду новой выдачи от Яши, может лишние страницы отпадут сами.

[Brefeo]

Лишние страницы можно ручками в роботсе "убить", и затем через яндекс удаление внести. Убирает быстро - примерно за 24 часа. Я с этим не тяну, если вижу, что не так, сразу работаю.
Кстати у меня только, что ап был. 

[Michael J Fox]

Лишние страницы можно ручками в роботсе "убить", и затем через яндекс удаление внести.

как? в яндекс вебмастере? смотрел, не нашёл, может не внимательно искал

[Brefeo]

Нет. Роботс пишите сами. Затем через адурилку ускоряете.

[Michael J Fox]

Нет. Роботс пишите сами. Затем через адурилку ускоряете.

что закрыть? всё и так закрыто, но индексируется же ведь то, что закрыто
Добавлено: 03-01-2012, 00:32:30

Нет. Роботс пишите сами. Затем через адурилку ускоряете.

а, если дублированные ссылки не работают, они же по идее должны удаляться из яндекса через некоторое время?

[CLASSIK]

а, если дублированные ссылки не работают, они же по идее должны удаляться из яндекса через некоторое время?

через некоторое время... Можнов ручную - быстрее будет.