Поисковые роботы

Поисковые роботы читают информацию с сайтов - его работа схожа с тем, что делает любой браузер. Поисковых роботов называют пауком - он постоянно двигается по Всемирной паутине, и индексируют информацию.

Чтобы лучше представлять алгоритм работы поисковых роботов, можно представить себе архипелаг который находится в океане. Большинство островов уже известна, а какая-то часть - нет. Архипелаг постоянно прирастает новыми островами. Корабли с исследователями, обходят один остров за другим и наносят их на карту.

Так же как и исследователи и работает поисковые роботы. Они постоянно сканируют Сеть, находят новые сайты, измененные страницы, все это заносится в реестр поисковика. Такой процесс именуется индексацией. Она нужна всем поисковикам для быстрой выдачи информации пользователям интернета. В индексации заинтересованы все и поисковики, и пользователи, и сайты.

Итак, в интернете возник новый сайт. Сколько он будет неизвестным? На нем, вероятно, есть полезная информация. Как долго будет ползти паук до него? Как часто роботы будут индексировать страницы? Все ли читает поисковый робот? Что сделать, чтобы робот не индексировал какую либо страницу?

Деятельность любого робота устроена таким образом, что он когда-нибудь посетит и проиндексирует все сайты. Этот период может занять месяцы, а может и минуты. Для ускорения процесса, требуется указать роботу на сайт. Лидерами рынка в России являются Яндекс и Google.

После индексации сайта визиты поискового робота становятся постоянными. Как часто - зависит от обновления информации на сайте.

Впервые зайдя на сайт, поисковые роботы сначала ищут файл robots.txt. Этот файл - рода инструкция. В нем владелец сайта может запретить индексацию отдельных страниц, следовательно, информация не для все не попадет в открытый доступ.