Nasza strona w Google i innych wyszukiwarkach.

Pierwsze zacznijmy od tego co to jest Bot (np: googleBot)
Bot Internetowy jest to (powinien być) 'dobry' robot zajmujący się indeksowaniem stron dla wyszukiwarki.
Taki bot chodzi po stronie normalnie jak użytkownik i otwiera wszystkie linki doddając je po kolei do przeglądarki
Przykład: Na pierwszej stronie jest przykładowo 2 linki na tych 2 stronach jest po 5 linków i na tych 5 stronach jest po 3 linki i tak się rozrasta baza danych wielkich wyszukiwarek.

Dlatego Nie blokujmy Botów internetowych
Jeśli ktoś chce to podaje sposób na zablokowanie największych botów

if(preg_match(‘/(googlebot|lycos|ask jeeves|ia_archiver)/i’, $_SERVER['HTTP_USER_AGENT'], $tablica)){
   echo ‘Robocik ‘.$tablica[1];
}else{
   echo ‘Brak robotów’;
}
?>

A teraz taka mała reklama:

Thindill* ostatnio pracuje nad skryptem pisanym w C# a mianowicie Grub.
Grub jest to kolejny robot indeksujący strony.

Wyszukiwarka Wikia
http://re.search.wikia.com/

Pozdrawiam, i proszę o wyrozumiałość na linki
www.grub.org