Поиск за пределами поисковиков

[WriteTexts4u]

Понятно, что существуют поисковые системы, которые находят информацию на основании информации об индексации. А как найти информацию, размещённую в Интернете, о которой поисковики не знают, когда никакой индексации размещённого сайта не производилось? Например, есть встроенные системы, которые подключены к глобальной сети, и отображают информацию (текстовую, видео). И как найти такого рода информацию на таких сайтах, если о них поисковики не знают ничего, а хозяевам этих систем до их индексации и дела нет!?

[Sergey2012]

что то я сомневаюсь, что возможны такие расклады, при которых поисковики ничего не знают об информации размещенной в сети. даже если вы не будете добавлять сайт в поиск, то боты заклянут туда после того, как ваши домен регистраторы обновят данные о принадлежности домена, если у вас домен третьего уровня, то по любому домен второго уровня будет известен в индексе. ну какие еще могут быть ситуации. фидонет конференции наскока мне известно через гейты в интернете видятся. а если хозяевам каких то систем нет дела до индекса ихних хранилищ данных, то я сомневаюсь что они вообще хотят чтобы ихняя информация была в паблике, так что скорей всего туда не то что поисковики, туда даже если вы знаете метод доступа - не получится проникнуть. Сорри за расплывчатый ответ, на не менее мутный вопрос ))))

[armid]

Согласен с WriteTexts4u, таких источников информации очень много.
Года два назад, читал довольно развернутую статью, о том что в индексах поисковиков представлено около 30% информации в интернете.

Во-первых есть много закрытых сайтов, и это не только варез и т.д.

И как найти такого рода информацию на таких сайтах, если о них поисковики не знают ничего, а хозяевам этих систем до их индексации и дела нет!?

Тоже согласен. Мы тут в основном занимаемся коммерческими тематиками, короче говоря хотим вылезти в ТОП.

Но далеко не все хотят заморачиватся по этому поводу.

Как узнать? Ссылки на форумах тематических, рекомендации друзей.

[mergedate]1291551300[/mergedate]

а если хозяевам каких то систем нет дела до индекса ихних хранилищ данных, то я сомневаюсь что они вообще хотят чтобы ихняя информация была в паблике, так что скорей всего туда не то что поисковики, туда даже если вы знаете метод доступа - не получится проникнуть.

Ну вот смотрите. Приведу первый попавшийся пример.
Возьмем "контакт" Он же закрыт для индексации. Но это не значит, что там чего-то интересного почитать.
Лично я его не рассматриваю как источник инфы, но чисто теоретически из всего кол-ва контента, там есть что-то полезное.
И таких хранилищ в инете пруд-пруди. Только их найти проблематично. Есть куча библиотек, которые не индексируются.

[miomaster]

Если информация умышленно закрыта владельцем от поисковиков, то ищите ее через форумы, социальные сети, везде, где можно общаться. Наверняка у кого- то есть доступ к данному сайту. Получите приглашение от участников. Сможете работать.

[Delorean]

Если кто-то найдет сей клад, то тему точно не спалят... Ведь все то, что за пределами поиска, является ник контентом, который кто-то может и взять оттуда и уже добавить на свой сателлит.

[WriteTexts4u]

Неиндексированного контента в Интернете просто навалом. Самое простое, это перебрать IP адреса, например, такой программкой как teleport, пройтись по всем уровням. Но есть не только статические страницы и запароленные FTP, социальные сети и Интранет организаций подключаемых к глобальной сети.