Jak zostać Google Botem, czyli podszywanie się pod robota indeksującego www.

Pajączki, roboty internetowe, lub po prostu googleboty codziennie wertują tysiące stron w poszukiwaniu nowej zawartości. Googlebot odwiedza nie tyko najpopularniejsze serwisy i portale internetowe, ale również dociera do przypadkowych miejsc w internecie. Co więcej, roboty internetowe często mają dostęp do treści, za które normalny użytkownik musiałby zapłacić. W tym poradniku pokażemy jak zostać googlebotem, czyli upodobnić swoją przeglądarkę internetową do robota indeksującego strony internetowe.

user agentflickr, Sean MacEntee

Googleboty i inne roboty indeksujące

GoogleBot to nic innego jak robot internetowy, który za pomocą odnośników na stronach internetowych przechodzi z jednej strony na drugą, tworząc w ten sposób mapę stron dla wyszukiwarki Google. Z jednej strony częste wizyty robotów indeksujących mogą sprawić, że nowe treści na stronie szybciej pojawią się w wynikach wyszukiwania, z drugiej strony spore natężenie robotów internetowych może spowodować, że szybko wykorzystamy przydzielony hostingowi limit transferu.

Googlebot widzi więcej, czyli o identyfikatorze przeglądarki

Z pewnością zastanawia Cię co można zyskać zmieniając identyfikator przeglądarki internetowej z której korzystasz, a tym samym podszyć się się pod robota indeksującego. W momencie, gdy robot internetowy odwiedza stronę internetową przegląda plik robots.txt – są w nim zapisane informacje o tym do jakich treści robot powinien mieć dostęp, a których nie powinien indeksować. Często administratorzy stron internetowych nie chcą indeksować prywatnych folderów, katalogów cgi-bin, panelu administracyjnego, lub innych miejsc, do których nie powinien mieć miejsca gość odwiedzający stronę.

Oprócz wspomnianych miejsc googlebot ma dostęp do całej pozostałej treści – bardzo często widzi więcej niż przeciętny użytkownik odwiedzający witrynę. Twórcy stron internetowych często udostępniają robotom indeksującym możliwość „przeglądania” płatnej zawartości (np. poradników), a więc takiej która dla zwykłego użytkownika byłaby dostępna np. po wysłaniu sms-a. Jest to korzystne o tyle, że robot indeksujący będzie w stanie precyzyjniej dobrać treść do wyników wyszukiwania i istnieje większa szansa, że strona pojawi się wyżej w wynikach wyszukiwania.

Przeglądarki internetowe: User Agent

Aby można było odróżnić zwykłego użytkownika, od robota indeksującego twórcy stron internetowych przeglądają nagłówki wysyłane podczas komunikacji z serwerem WWW:

  • Opera/9.80 (Windows NT 6.1; U; pl) Presto/2.7.62 Version/11.00
  • Mozilla/5.0 (Windows NT 5.1; rv:2.0b7) Gecko/​20100101 Firefox/4.0b7
  • Mozilla/5.0 (Windows; U; Windows NT 6.1; en-​​US) AppleWebKit/534.15 (KHTML, like Gecko) Chrome 10.0.612.1 Safari/534.15
  • Mozilla/5.0 (iPad; U; CPU OS 3_​2_​1 like Mac OS X; en-​​us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/​7B405

Roboty indeksujące przedstawiają się nagłówkami o przykładowej postaci (robot indeksujący Yahoo, W3C walidator, oraz Googlebot):

  • Mozilla/5.0 (com­pa­tible; Yahoo! Slurp; http://​help​.yahoo​.com/​h​e​l​p​/​u​s​/​y​s​e​a​r​c​h​/​slurp)
  • W3C_Validator/1.305.2.148libwww-perl/5.803,Jigsaw/2.2.3 W3C_CSS_Validator_JFouffa/2.0
  • Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

Jak podszyć się pod robota indeksującego Google ?

  • Firefox

Dla przeglądarki Firefox, należy na pasku adresu wpisać polecenie: about:config, następnie klikamy PPM i z menu kontekstowego wybieramy pozycję Dodaj ustawienie typu -> Łańcuch (string): general.useragent.override

user agent firefox

Gdy utworzymy ten parametr jako wartość wpisujemy: Googlebot 2.1 – w ten sposób będziemy widoczni jako GoogleBot.

  • Internet Explorer

Aby zmienić identyfikator przeglądarki Internet Explorer, należy otworzyć rejestr systemowy (start -> uruchom -> regedit) i zlokalizować klucz HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User Agent

internet explorer user agent

W okienku po prawej stronie dwukrotnie klikamy na wartość domyślną i wpisujemy: Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

  • Opera

W przypadku przeglądarki Opera, w pasku adresu należy wpisać polecenie: opera:config#ISP|Id

Jako wartość, w okienku, które wyskoczy wpisujemy: googlebot/2.1

  • Google Chrome

Aby wykonać jednokrotną zmianę User Agent w przeglądarce Google Chrome, należy uruchomić konsolę Windows (start -> uruchom -> cmd) i wpisać w niej polecenie:

cd „%HomePath%AppDataLocalGoogleChromeApplication”

W ten sposób przejdziemy do folderu, gdzie zainstalowana została przeglądarka Google Chrome (jeżeli zainstalowałeś ją w innym folderze, niż domyślny to będziesz musiał zmodyfikować polecenie).

Po zatwierdzeniu polecenia klawiszem ENTER wpisujemy kolejny ciąg znaków: chrome –user-​​agent=” Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)”

W ten sposób Chrome będzie identyfikowany jako GoogleBot.

3 komentarze

  1. Super się to czyta, dziękuję!, Ja ze swojej strony zapraszam na stronę nieruchomości http://www.nliberty Zielona Góra.

  2. panos-warning.co.uk napisał(a):

    If some one wishes expert view about running a blog afterward i
    advise him/her to go to see this weblog, Keep up the nice work.

  3. Dbamy również satysfakcję i komfort oferentów.

Napisz komentarz