Jak zostać Google Botem, czyli podszywanie się pod robota indeksującego www.

Pajączki, roboty internetowe, lub po prostu googleboty codziennie wertują tysiące stron w poszukiwaniu nowej zawartości. Googlebot odwiedza nie tyko najpopularniejsze serwisy i portale internetowe, ale również dociera do przypadkowych miejsc w internecie. Co więcej, roboty internetowe często mają dostęp do treści, za które normalny użytkownik musiałby zapłacić. W tym poradniku pokażemy jak zostać googlebotem, czyli upodobnić swoją przeglądarkę internetową do robota indeksującego strony internetowe.

user agentflickr, Sean MacEntee

Googleboty i inne roboty indeksujące

GoogleBot to nic innego jak robot internetowy, który za pomocą odnośników na stronach internetowych przechodzi z jednej strony na drugą, tworząc w ten sposób mapę stron dla wyszukiwarki Google. Z jednej strony częste wizyty robotów indeksujących mogą sprawić, że nowe treści na stronie szybciej pojawią się w wynikach wyszukiwania, z drugiej strony spore natężenie robotów internetowych może spowodować, że szybko wykorzystamy przydzielony hostingowi limit transferu.

Googlebot widzi więcej, czyli o identyfikatorze przeglądarki

Z pewnością zastanawia Cię co można zyskać zmieniając identyfikator przeglądarki internetowej z której korzystasz, a tym samym podszyć się się pod robota indeksującego. W momencie, gdy robot internetowy odwiedza stronę internetową przegląda plik robots.txt – są w nim zapisane informacje o tym do jakich treści robot powinien mieć dostęp, a których nie powinien indeksować. Często administratorzy stron internetowych nie chcą indeksować prywatnych folderów, katalogów cgi-bin, panelu administracyjnego, lub innych miejsc, do których nie powinien mieć miejsca gość odwiedzający stronę.

Oprócz wspomnianych miejsc googlebot ma dostęp do całej pozostałej treści – bardzo często widzi więcej niż przeciętny użytkownik odwiedzający witrynę. Twórcy stron internetowych często udostępniają robotom indeksującym możliwość „przeglądania” płatnej zawartości (np. poradników), a więc takiej która dla zwykłego użytkownika byłaby dostępna np. po wysłaniu sms-a. Jest to korzystne o tyle, że robot indeksujący będzie w stanie precyzyjniej dobrać treść do wyników wyszukiwania i istnieje większa szansa, że strona pojawi się wyżej w wynikach wyszukiwania.

Przeglądarki internetowe: User Agent

Aby można było odróżnić zwykłego użytkownika, od robota indeksującego twórcy stron internetowych przeglądają nagłówki wysyłane podczas komunikacji z serwerem WWW:

  • Opera/9.80 (Windows NT 6.1; U; pl) Presto/2.7.62 Version/11.00
  • Mozilla/5.0 (Windows NT 5.1; rv:2.0b7) Gecko/​20100101 Firefox/4.0b7
  • Mozilla/5.0 (Windows; U; Windows NT 6.1; en-​​US) AppleWebKit/534.15 (KHTML, like Gecko) Chrome 10.0.612.1 Safari/534.15
  • Mozilla/5.0 (iPad; U; CPU OS 3_​2_​1 like Mac OS X; en-​​us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/​7B405

Roboty indeksujące przedstawiają się nagłówkami o przykładowej postaci (robot indeksujący Yahoo, W3C walidator, oraz Googlebot):

  • Mozilla/5.0 (com­pa­tible; Yahoo! Slurp; http://​help​.yahoo​.com/​h​e​l​p​/​u​s​/​y​s​e​a​r​c​h​/​slurp)
  • W3C_Validator/1.305.2.148libwww-perl/5.803,Jigsaw/2.2.3 W3C_CSS_Validator_JFouffa/2.0
  • Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

Jak podszyć się pod robota indeksującego Google ?

  • Firefox

Dla przeglądarki Firefox, należy na pasku adresu wpisać polecenie: about:config, następnie klikamy PPM i z menu kontekstowego wybieramy pozycję Dodaj ustawienie typu -> Łańcuch (string): general.useragent.override

user agent firefox

Gdy utworzymy ten parametr jako wartość wpisujemy: Googlebot 2.1 – w ten sposób będziemy widoczni jako GoogleBot.

  • Internet Explorer

Aby zmienić identyfikator przeglądarki Internet Explorer, należy otworzyć rejestr systemowy (start -> uruchom -> regedit) i zlokalizować klucz HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User Agent

internet explorer user agent

W okienku po prawej stronie dwukrotnie klikamy na wartość domyślną i wpisujemy: Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)

  • Opera

W przypadku przeglądarki Opera, w pasku adresu należy wpisać polecenie: opera:config#ISP|Id

Jako wartość, w okienku, które wyskoczy wpisujemy: googlebot/2.1

  • Google Chrome

Aby wykonać jednokrotną zmianę User Agent w przeglądarce Google Chrome, należy uruchomić konsolę Windows (start -> uruchom -> cmd) i wpisać w niej polecenie:

cd „%HomePath%AppDataLocalGoogleChromeApplication”

W ten sposób przejdziemy do folderu, gdzie zainstalowana została przeglądarka Google Chrome (jeżeli zainstalowałeś ją w innym folderze, niż domyślny to będziesz musiał zmodyfikować polecenie).

Po zatwierdzeniu polecenia klawiszem ENTER wpisujemy kolejny ciąg znaków: chrome –user-​​agent=” Googlebot/2.1 (+http://​www​.go​oglebot​.com/​b​o​t​.html)”

W ten sposób Chrome będzie identyfikowany jako GoogleBot.

37 komentarzy

  1. Super się to czyta, dziękuję!, Ja ze swojej strony zapraszam na stronę nieruchomości http://www.nliberty Zielona Góra.

  2. If some one wishes expert view about running a blog afterward i
    advise him/her to go to see this weblog, Keep up the nice work.

  3. Dbamy również satysfakcję i komfort oferentów.

  4. I believe this is among the such a lot significant info for me.
    And i’m satisfied studying your article. However want
    to commentary on some general things, The website taste is wonderful, the articles is in reality great :
    D. Excellent process, cheers

  5. Meagan pisze:

    Thank you for the auspicious writeup. It in truth was a enjoyment
    account it. Glance advanced to far introduced agreeable from
    you! However, how could we communicate?

  6. I got this website from my pal who told me regarding this web page and at
    the moment this time I am visiting this web site and reading very informative content at this place.

  7. aracer.mobi pisze:

    Si tdo va bien,se devolverán 135 euros.

  8. In tem vo pisze:

    I am in fact glad to read this blog posts which includes plenty of valuable
    data, thanks for providing such information.

  9. Unquestionably believe that that you said. Your favorite reason appeared to be at the web the simplest factor to remember of.
    I say to you, I definitely get irked at the same time as folks think about issues that they just don’t know about.
    You managed to hit the nail upon the highest and also outlined out the
    whole thing with no need side-effects , other people could
    take a signal. Will likely be again to get more.
    Thank you

  10. mp3li pisze:

    Hello, this weekend is nice for me, as this time i am
    reading this great informative piece of writing
    here at my house.

  11. yts pisze:

    Oh my goodness! Impressive article dude! Thank you, However I am going through issues with your RSS.
    I don’t understand why I am unable to subscribe to it.
    Is there anybody having similar RSS problems? Anyone who knows the answer will you kindly respond?

    Thanx!!

  12. primewire pisze:

    Pretty! This was an extremely wonderful article.
    Thanks for supplying this information.

  13. Athena pisze:

    obviously like your web-site however you have to take a look at the spelling on several of your posts.

    A number of them are rife with spelling problems and I to find
    it very troublesome to inform the reality however I’ll surely come again again.

  14. GamesBX Free pisze:

    I am actually happy to read this webpage posts which contains lots of useful information, thanks for providing
    these data.

  15. Carolyn pisze:

    Năm nay, đơn vi phân phối độc quyền của tên thương hiệu đồng
    biển Casio Tại nước ta đã phối hợp cùng
    Son media webflow nước ta triển khai quảng cáo Tại sân bay Nội Bài.
    Son Media webflow

  16. adu q pisze:

    you’re actually a good webmaster. The website loading pace is incredible.
    It sort of feels that you’re doing any unique trick. Moreover, The contents are masterwork.
    you’ve done a magnificent task on this subject!

  17. Hello, all is going perfectly here and ofcourse every
    one is sharing data, that’s really good, keep up writing.

  18. UAB „DOMINIS“ veikla apima platų paslaugų spektrą: priešgaisrinės
    saugos (gesintuvų patikra, varžų matavimas, gaisrinės signalizacijos patikra, evakuacijos planų braižymas, civilinės sauga, darbuotojų sauga,
    dokumentacijos rengimas) ir gaisrinės įrangos (gesintuvų patikra, gesintuvai, gaisrinės žarnos, gaisrinės evakuacinės kopėčios, evakuaciniai ženklai, automobiliniai gesintuvai
    ir t.t.)

  19. Charis pisze:

    Excellent post. Keep posting such kind of info on your page.
    Im really impressed by it.
    Hi there, You’ve performed a fantastic job. I’ll certainly digg it and in my opinion suggest to my
    friends. I am sure they will be benefited from this website.

  20. Joker Gaming pisze:

    whoah this blog is excellent i love reading your posts.
    Keep up the good work! You know, a lot of individuals are searching round
    for this info, you can help them greatly.

  21. blog 3d pisze:

    Dowiemy się między innymi kto jak i również kiedy
    odwiedza naszą witrynę, poznamy różnicę przed i po kampanii lub między dwoma typami kampanii.

  22. I’m gone to convey my little brother, that he should also go to see this weblog on regular
    basis tto get updated ffrom hottest reports.

    Also visit my blog: التأمين الصحي الخاص للإقامة،

  23. Hi to every body, it’s my first pay a quick visit of this blog; this weblog
    includes amazing and in fact fine stuff designed for visitors.

  24. LifeSelector pisze:

    I just wanted to give a quick shout out and say I really enjoyed reading your content.
    Can you suggest other site that write about the same areas?
    Appreciated.

  25. I am really enjoying the theme/design of your website. Do you ever run into any
    browser compatibility issues? A handful of
    my blog visitors have complained about my website not operating correctly in Explorer but looks great in Chrome.
    Do you have any solutions to help fix this problem?

  26. Quality posts is the crucial to interest the people to pay a quick visit
    the website, that’s what this website is providing.

  27. Thanks for another fantastic post. Where else may anybody get that kind of information in such an ideal manner of writing?
    I’ve a presentation next week, and I am on the look for such info.

  28. la peau est la première barrière du corps humain qui forme, en particulier, une barrière protecteur contre notre environnement mais elle perd de son élasticité au fur et à mesure des mois qui passent
    donc songez aux compléments alimentaires de collagène.

  29. Its inclusion of the Hulu on-demand streaming catalog makes
    it all the extra alluring. In my city, Hulu doesn’t stream the
    local NBC affiliate. Although the app doesn’t offer an actual
    content of its personal, it remains to be a superb app
    to stream dwell videos. Mobdro TVfree sport possesses an enormous database that
    can save a huge amount of movies. There are such a lot of addons available for this atmosphere,
    and they are often easily marked as favorites. There are
    such a lot of instruments obtainable on-line, and most of these are accessible to watching
    sports streaming. The app lives streaming Football matches from
    the UEFA Champions League, UEFA Europa League, French Ligue-1,
    La-Liga, 2018 FIFA World Cup Russia and different favorite moments corresponding to goals, newest updates and
    video highlights. Latest information about sports outcomes on the go.
    It is well known for its fixtures and dwell tables, whereas
    football news is updated with worldwide protection. The newest sports streaming apps enable them to look at videos as properly from any nook of the world at any time.
    This offers you whole management when you have got time
    to have to observe the sport, and also permits you to
    discover on any laptop, wherever.

  30. sa pisze:

    Finally, the Pots of Gold function is activated when pot of
    gold symbols land on reels 2 three and 4. When this occurs, one other screen opens that features
    bronze, silver and gold pots spinning around a leprechaun. If this happens, you’ll need to click on the
    scatter that triggered the characteristic to reveal a multiplier value that might
    be attached to your full wager. If you’re fortunate sufficient to
    match three leprechaun symbols wherever on the reels, you’ll trigger the Road to Riches
    bonus video games. The aim of the game is to match three winning symbols.
    You possibly can tweak the web interface to match
    your fashion and budget preferences and save time in selecting your perfect vogue alternative with out having to skim by way of thousands and thousands of products.
    You may also use Web sites to promote your original creations.
    It’s actually arduous to grasp why that’s, but it have to be because of
    licensing circumstances from the unique sport-show. Really no gross sales, bash purchaser management panel on the various Television system jack port (entered,
    finish outcome software program) don’t understand the specific slot from conversions use by
    using very little, deliver instructed Online Worlds producers to efficiently put into
    service a whole-constructing alterations should stay put in just the identical on to weekly companies of the various gamer guidelines pay attention to.

  31. Une adresse e-mail configurée comme « catch-all » reçoit
    tous les e-mails envoyés à des adresses non existante ou créé à la volé
    manuellement ou avec un script. Avec un email catchall vous pouvez avoir un nombre illimité d’adresse email à un prix réduit.
    Pour acheter un catchall rendez vous sur http://www.catchall.fr/

  32. acheter goji pisze:

    Blog sur les bienfaits et vertus de baie de Goji, lyciet de Chine, lyciet commun, lyciet
    de barbarie, baies de goji. Nom botanique : Lycium barbarum ou
    Lycium chinense. Le goji (lycium barbarum) est un petit fruit originaire de l’Himalaya.

    Ses bienfaits et ses propriétés sont multiples.
    Plus d’informations sur : http://www.goji-bio.ch/

  33. I believe what you posted made a ton of sense.

    But, what about this? suppose you added a little information? I
    ain’t suggesting your content isn’t good, but suppose you added something that makes
    people desire more? I mean Jak zostać Google Botem,
    czyli podszywanie się pod robota indeksującego www. | Portal komputerowy PCFAQ – porady
    komputerowe i rozrywka. is a little plain. You might glance at Yahoo’s front page and watch
    how they create news headlines to grab people to open the links.
    You might try adding a video or a picture or two to grab readers interested about what you’ve
    written. In my opinion, it would bring your posts a little livelier.

  34. @CCCAM & 5G IPTV Network Sir plz help karo aap ka pannel open nahi
    ho raha maney paid line li hai aap sey woh 10/12/2021 subah sey open nahi ho
    rahi aur aap whatsapp per bhi reply nahi kar rahey

  35. xlamma.me pisze:

    John Noble knew exactly what advice to give fellow mid-season draftee
    Ash Johnson about his late shot at the AFL: take it and run with it. After all, that’s
    exactly what the former shelf stacker did back in 2019. Snapped up out of the SANFL, Noble played five games in his first season and has since added another 62, becoming a
    key part of the Magpies’ defence. Johnson, pick No.3 in last year’s
    mid-season draft, has kicked 15 goals in seven games since debuting in round 18,
    showcasing his skill and goal kicking prowess. Noble isn’t surprised to see his teammate thrive. Bar Richmond’s premiership-sealing 2019 selection of
    Marlion Pickett, Collingwood have arguably made
    the best fist of mid-season selections. Noble,
    25, and Johnson, 24, are success stories while Aiden Begg (2021)
    and Josh Carmichael (2022) have also broken through for AFL debuts. „It’s a credit to Dekka (Derek Hine) in our recruiting team and Wrighty (football boss Graham Wright) for being able to find talent that might be overlooked,”
    Noble told AAP ahead of Saturday’s semi-final against Fremantle. „I know there’s plenty out there and obviously I’m a big advocate for that sort of thing. „Even Beggy (Aiden Begg) has been going to another level this year with his footy, and Joshy Carmichael.

    We’ve had a little bit of success in that. „We’ve got a lot of support around our players and staff in this club. „As soon as you come in, your foot’s in the door and you’re wrapped around with the support, and you just take it from there.” Noble wouldn’t change his different pathway, either. „You
    dive in the deep end, coming mid-season. I liked it, personally,” he said. „The advice is always just take it with both
    hands. „Sometimes being overlooked is hard to take but when the opportunity presents itself, you’ve just got to take it and run with it.” Noble understands the importance of
    relishing his opportunity. His father,
    David Noble, saw the other side of footy when he was sacked
    as North Melbourne coach this year. „That is the brutality of footy, that it’s not always gonna go your way,” he said. „Dad’s certainly aware of that – he’s been in the system for a very long time and he’s got a lot of respect for what he’s done and what he’s contributed. „So he’s going well with that, at
    this stage.

    They (my family) are just supporting me because I’m the only one making finals at the moment.”

    Escort Santana do Paraíso Brazil (xlamma.me)

  36. If you would like to grow your familiarity only keep visiting this web page
    and be updated with the latest gossip posted here.

    my web-site … отличие психиатра от психотерапевта и психолога

  37. paysandu.Info pisze:

    Vitamin C also helps in the maintenance of the bones health keeping it free
    from injury during exercise. The vitamin is a best way to gain oxygen supplementation in the
    body and as well as cleansing the colon.

Napisz komentarz