Jak zostać Google Botem, czyli podszywanie się pod robota indeksującego www.

Pajączki, roboty internetowe, lub po prostu googleboty codziennie wertują tysiące stron w poszukiwaniu nowej zawartości. Googlebot odwiedza nie tyko najpopularniejsze serwisy i portale internetowe, ale również dociera do przypadkowych miejsc w internecie. Co więcej, roboty internetowe często mają dostęp do treści, za które normalny użytkownik musiałby zapłacić. W tym poradniku pokażemy jak zostać googlebotem, czyli upodobnić swoją przeglądarkę internetową do robota indeksującego strony internetowe.

user agentflickr, Sean MacEntee

Googleboty i inne roboty indeksujące

GoogleBot to nic innego jak robot internetowy, który za pomocą odnośników na stronach internetowych przechodzi z jednej strony na drugą, tworząc w ten sposób mapę stron dla wyszukiwarki Google. Z jednej strony częste wizyty robotów indeksujących mogą sprawić, że nowe treści na stronie szybciej pojawią się w wynikach wyszukiwania, z drugiej strony spore natężenie robotów internetowych może spowodować, że szybko wykorzystamy przydzielony hostingowi limit transferu.

Googlebot widzi więcej, czyli o identyfikatorze przeglądarki

Z pewnością zastanawia Cię co można zyskać zmieniając identyfikator przeglądarki internetowej z której korzystasz, a tym samym podszyć się się pod robota indeksującego. W momencie, gdy robot internetowy odwiedza stronę internetową przegląda plik robots.txt – są w nim zapisane informacje o tym do jakich treści robot powinien mieć dostęp, a których nie powinien indeksować. Często administratorzy stron internetowych nie chcą indeksować prywatnych folderów, katalogów cgi-bin, panelu administracyjnego, lub innych miejsc, do których nie powinien mieć miejsca gość odwiedzający stronę.

Oprócz wspomnianych miejsc googlebot ma dostęp do całej pozostałej treści – bardzo często widzi więcej niż przeciętny użytkownik odwiedzający witrynę. Twórcy stron internetowych często udostępniają robotom indeksującym możliwość „przeglądania” płatnej zawartości (np. poradników), a więc takiej która dla zwykłego użytkownika byłaby dostępna np. po wysłaniu sms-a. Jest to korzystne o tyle, że robot indeksujący będzie w stanie precyzyjniej dobrać treść do wyników wyszukiwania i istnieje większa szansa, że strona pojawi się wyżej w wynikach wyszukiwania.

Przeglądarki internetowe: User Agent

Aby można było odróżnić zwykłego użytkownika, od robota indeksującego twórcy stron internetowych przeglądają nagłówki wysyłane podczas komunikacji z serwerem WWW:

  • Opera/9.80 (Windows NT 6.1; U; pl) Presto/2.7.62 Version/11.00
  • Mozilla/5.0 (Windows NT 5.1; rv:2.0b7) Gecko/​20100101 Firefox/4.0b7
  • Mozilla/5.0 (Windows; U; Windows NT 6.1; en-​​US) AppleWebKit/534.15 (KHTML, like Gecko) Chrome 10.0.612.1 Safari/534.15
  • Mozilla/5.0 (iPad; U; CPU OS 3_​2_​1 like Mac OS X; en-​​us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/​7B405

Roboty indeksujące przedstawiają się nagłówkami o przykładowej postaci (robot indeksujący Yahoo, W3C walidator, oraz Googlebot):

  • Mozilla/5.0 (com­pa­tible; Yahoo! Slurp; http://​help​.yahoo​.com/​h​e​l​p​/​u​s​/​y​s​e​a​r​c​h​/​slurp)
  • W3C_Validator/1.305.2.148libwww-perl/5.803,Jigsaw/2.2.3 W3C_CSS_Validator_JFouffa/2.0
  • Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

Jak podszyć się pod robota indeksującego Google ?

  • Firefox

Dla przeglądarki Firefox, należy na pasku adresu wpisać polecenie: about:config, następnie klikamy PPM i z menu kontekstowego wybieramy pozycję Dodaj ustawienie typu -> Łańcuch (string): general.useragent.override

user agent firefox

Gdy utworzymy ten parametr jako wartość wpisujemy: Googlebot 2.1 – w ten sposób będziemy widoczni jako GoogleBot.

  • Internet Explorer

Aby zmienić identyfikator przeglądarki Internet Explorer, należy otworzyć rejestr systemowy (start -> uruchom -> regedit) i zlokalizować klucz HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User Agent

internet explorer user agent

W okienku po prawej stronie dwukrotnie klikamy na wartość domyślną i wpisujemy: Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

  • Opera

W przypadku przeglądarki Opera, w pasku adresu należy wpisać polecenie: opera:config#ISP|Id

Jako wartość, w okienku, które wyskoczy wpisujemy: googlebot/2.1

  • Google Chrome

Aby wykonać jednokrotną zmianę User Agent w przeglądarce Google Chrome, należy uruchomić konsolę Windows (start -> uruchom -> cmd) i wpisać w niej polecenie:

cd „%HomePath%AppDataLocalGoogleChromeApplication”

W ten sposób przejdziemy do folderu, gdzie zainstalowana została przeglądarka Google Chrome (jeżeli zainstalowałeś ją w innym folderze, niż domyślny to będziesz musiał zmodyfikować polecenie).

Po zatwierdzeniu polecenia klawiszem ENTER wpisujemy kolejny ciąg znaków: chrome –user-​​agent=” Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)”

W ten sposób Chrome będzie identyfikowany jako GoogleBot.

17 komentarzy

  1. Super się to czyta, dziękuję!, Ja ze swojej strony zapraszam na stronę nieruchomości http://www.nliberty Zielona Góra.

  2. If some one wishes expert view about running a blog afterward i
    advise him/her to go to see this weblog, Keep up the nice work.

  3. Dbamy również satysfakcję i komfort oferentów.

  4. I believe this is among the such a lot significant info for me.
    And i’m satisfied studying your article. However want
    to commentary on some general things, The website taste is wonderful, the articles is in reality great :
    D. Excellent process, cheers

  5. Meagan pisze:

    Thank you for the auspicious writeup. It in truth was a enjoyment
    account it. Glance advanced to far introduced agreeable from
    you! However, how could we communicate?

  6. I got this website from my pal who told me regarding this web page and at
    the moment this time I am visiting this web site and reading very informative content at this place.

  7. aracer.mobi pisze:

    Si tdo va bien,se devolverán 135 euros.

  8. free movies pisze:

    After I originally commented I seem to have clicked on the -Notify me when new comments are added- checkbox
    and from now on each time a comment is added I receive
    4 emails with the same comment. There has to be
    a means you are able to remove me from that service?
    Thanks!

  9. Items of forex used to bet with in slot games.

  10. Thanks for sharing your thoughts about workout calendar insanity.
    Regards

  11. Hi, I want to subscribe for this weblog to obtain most recent updates, therefore where can i do it please help out.

  12. Thanks for finally talking about >Jak zostać Google Botem,
    czyli podszywanie się pod robota indeksującego www. | Portal komputerowy
    PCFAQ – porady komputerowe i rozrywka. <Liked it!

  13. I will right away clutch your rss ass I can nott find your e-mail subscription hyperlink or
    newsletter service. Do you’ve any? Please permit me understand
    so that I maay just subscribe. Thanks.

  14. Abadicash pisze:

    Undeniably imagine that which you said. Your favourite reason seemed to be on the internet the simplest factor
    to take into accout of. I say to you, I definitely
    get irked while other folks consider worries that they plainly do not understand about.
    You managed to hit the nail upon the top as smartly as outlined out the whole
    thing with no need side-effects , people could take a
    signal. Will likely be again to get more. Thanks

  15. Can I simply say what a relief to uncover somebody that actually understands what they’re discussing on the
    web. You definitely realize how to bring an issue to light and make
    it important. A lot more people have to look at this and understand this side of
    the story. I was surprised you aren’t more popular since you definitely
    have the gift.

  16. voip pisze:

    Awesome blog you have here but I was wanting to
    know if you knew of any forums that cover the same topics discussed in this article?
    I’d really like to be a part of group where I can get feedback from
    other knowledgeable people that share the same interest. If you have any suggestions,
    please let me know. Thank you!

  17. I believe this is one of the such a lot significant info for me.
    And i am glad reading your article. However want to
    commentary on few normal issues, The site taste is great, the articles is
    in point of fact nice : D. Just right activity, cheers

Napisz komentarz