Jak zostać Google Botem, czyli podszywanie się pod robota indeksującego www.

Pajączki, roboty internetowe, lub po prostu googleboty codziennie wertują tysiące stron w poszukiwaniu nowej zawartości. Googlebot odwiedza nie tyko najpopularniejsze serwisy i portale internetowe, ale również dociera do przypadkowych miejsc w internecie. Co więcej, roboty internetowe często mają dostęp do treści, za które normalny użytkownik musiałby zapłacić. W tym poradniku pokażemy jak zostać googlebotem, czyli upodobnić swoją przeglądarkę internetową do robota indeksującego strony internetowe.

user agentflickr, Sean MacEntee

Googleboty i inne roboty indeksujące

GoogleBot to nic innego jak robot internetowy, który za pomocą odnośników na stronach internetowych przechodzi z jednej strony na drugą, tworząc w ten sposób mapę stron dla wyszukiwarki Google. Z jednej strony częste wizyty robotów indeksujących mogą sprawić, że nowe treści na stronie szybciej pojawią się w wynikach wyszukiwania, z drugiej strony spore natężenie robotów internetowych może spowodować, że szybko wykorzystamy przydzielony hostingowi limit transferu.

Googlebot widzi więcej, czyli o identyfikatorze przeglądarki

Z pewnością zastanawia Cię co można zyskać zmieniając identyfikator przeglądarki internetowej z której korzystasz, a tym samym podszyć się się pod robota indeksującego. W momencie, gdy robot internetowy odwiedza stronę internetową przegląda plik robots.txt – są w nim zapisane informacje o tym do jakich treści robot powinien mieć dostęp, a których nie powinien indeksować. Często administratorzy stron internetowych nie chcą indeksować prywatnych folderów, katalogów cgi-bin, panelu administracyjnego, lub innych miejsc, do których nie powinien mieć miejsca gość odwiedzający stronę.

Oprócz wspomnianych miejsc googlebot ma dostęp do całej pozostałej treści – bardzo często widzi więcej niż przeciętny użytkownik odwiedzający witrynę. Twórcy stron internetowych często udostępniają robotom indeksującym możliwość „przeglądania” płatnej zawartości (np. poradników), a więc takiej która dla zwykłego użytkownika byłaby dostępna np. po wysłaniu sms-a. Jest to korzystne o tyle, że robot indeksujący będzie w stanie precyzyjniej dobrać treść do wyników wyszukiwania i istnieje większa szansa, że strona pojawi się wyżej w wynikach wyszukiwania.

Przeglądarki internetowe: User Agent

Aby można było odróżnić zwykłego użytkownika, od robota indeksującego twórcy stron internetowych przeglądają nagłówki wysyłane podczas komunikacji z serwerem WWW:

  • Opera/9.80 (Windows NT 6.1; U; pl) Presto/2.7.62 Version/11.00
  • Mozilla/5.0 (Windows NT 5.1; rv:2.0b7) Gecko/​20100101 Firefox/4.0b7
  • Mozilla/5.0 (Windows; U; Windows NT 6.1; en-​​US) AppleWebKit/534.15 (KHTML, like Gecko) Chrome 10.0.612.1 Safari/534.15
  • Mozilla/5.0 (iPad; U; CPU OS 3_​2_​1 like Mac OS X; en-​​us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/​7B405

Roboty indeksujące przedstawiają się nagłówkami o przykładowej postaci (robot indeksujący Yahoo, W3C walidator, oraz Googlebot):

  • Mozilla/5.0 (com­pa­tible; Yahoo! Slurp; http://​help​.yahoo​.com/​h​e​l​p​/​u​s​/​y​s​e​a​r​c​h​/​slurp)
  • W3C_Validator/1.305.2.148libwww-perl/5.803,Jigsaw/2.2.3 W3C_CSS_Validator_JFouffa/2.0
  • Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

Jak podszyć się pod robota indeksującego Google ?

  • Firefox

Dla przeglądarki Firefox, należy na pasku adresu wpisać polecenie: about:config, następnie klikamy PPM i z menu kontekstowego wybieramy pozycję Dodaj ustawienie typu -> Łańcuch (string): general.useragent.override

user agent firefox

Gdy utworzymy ten parametr jako wartość wpisujemy: Googlebot 2.1 – w ten sposób będziemy widoczni jako GoogleBot.

  • Internet Explorer

Aby zmienić identyfikator przeglądarki Internet Explorer, należy otworzyć rejestr systemowy (start -> uruchom -> regedit) i zlokalizować klucz HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User Agent

internet explorer user agent

W okienku po prawej stronie dwukrotnie klikamy na wartość domyślną i wpisujemy: Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

  • Opera

W przypadku przeglądarki Opera, w pasku adresu należy wpisać polecenie: opera:config#ISP|Id

Jako wartość, w okienku, które wyskoczy wpisujemy: googlebot/2.1

  • Google Chrome

Aby wykonać jednokrotną zmianę User Agent w przeglądarce Google Chrome, należy uruchomić konsolę Windows (start -> uruchom -> cmd) i wpisać w niej polecenie:

cd „%HomePath%AppDataLocalGoogleChromeApplication”

W ten sposób przejdziemy do folderu, gdzie zainstalowana została przeglądarka Google Chrome (jeżeli zainstalowałeś ją w innym folderze, niż domyślny to będziesz musiał zmodyfikować polecenie).

Po zatwierdzeniu polecenia klawiszem ENTER wpisujemy kolejny ciąg znaków: chrome –user-​​agent=” Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)”

W ten sposób Chrome będzie identyfikowany jako GoogleBot.

8 komentarzy

  1. Super się to czyta, dziękuję!, Ja ze swojej strony zapraszam na stronę nieruchomości http://www.nliberty Zielona Góra.

  2. panos-warning.co.uk napisał(a):

    If some one wishes expert view about running a blog afterward i
    advise him/her to go to see this weblog, Keep up the nice work.

  3. Dbamy również satysfakcję i komfort oferentów.

  4. pop up card pattern napisał(a):

    That is very interesting, You’re an excessively professional
    blogger. I’ve joined your rss feed and look ahead to searching for more of your excellent post.
    Additionally, I’ve shared your site in my social networks

  5. Judi Ayam Online napisał(a):

    It’s hard to come by experienced people in this particular topic, however, you seem like you know what you’re talking about!
    Thanks

  6. I believe this is among the such a lot significant info for me.
    And i’m satisfied studying your article. However want
    to commentary on some general things, The website taste is wonderful, the articles is in reality great :
    D. Excellent process, cheers

  7. Meagan napisał(a):

    Thank you for the auspicious writeup. It in truth was a enjoyment
    account it. Glance advanced to far introduced agreeable from
    you! However, how could we communicate?

  8. 北京赛车微信群 napisał(a):

    I got this website from my pal who told me regarding this web page and at
    the moment this time I am visiting this web site and reading very informative content at this place.

Napisz komentarz