.:: TechBlog ::. 
- 29.06.2005Ich bin Google - ich darf das.
- Moderne Websiteoptimierung besteht oft darin den Suchmaschinen eigene Seiten zu präsentieren, die möglichst viele Links und Schlagwörter enthalten. Doch nicht nur in der Websiteoptimierung wird den Suchmaschinen ein Extra-Würstchen angeboten. Google bespielsweise darf bei windowsitpro.com alles sehen - auch ohne erst einen Account erstellt zu haben. Wie das möglich ist und auf welche Überraschungen man alles treffen kann, möchte ich Euch heute erklären.
Wie kann ich einen normalen Nutzer von einer Suchmaschine unterscheiden? Ganz einfach! Jeder Browser sendet im HTTP-Header einen USER-AGENT, der ihn identifizieren soll und Abweichungen in der Seitenpräsentation für den Websitebetreiber kompensieren lassen kann. Genau das macht auch Google, nur heisst diese Informationen dort Googlebot/2.1 (+http://www.googlebot.com/bot.html). Was passiert also, wenn ich meinen USER-AGENT überschreibe und mich als Google ausgebe? Genau - ich sehe alles was Google sehen würde und das ist nicht immer schön. Gerade kostenlose Dienste, wie Gästebücher präsentieren erstmal eine Reihe von Links zu Werbepartnern bis der eigentliche Content angezeigt wird. Doch wie bereits angesprochen nutzen einige Seites dieses Feature um Google alle Seiten anzeigen und indizieren zu lassen, währenddessen der Möchtegernsurfer sich erst anmelden muss, bevor er den Content sehen darf.Wie kann ich den USER-AGENT ändern? Es gibt im Grunde zwei einfache Wege. Entweder der Browser bringt diese Funktionalität von Haus aus mit (z.B. Opera), oder man nutzt einen Proxy, der diese Informationen filtert. In meinem Falle habe ich den kostenlosen Proxomitron genutzt und den HTTP-Header gefiltert.
Kommentare:
- Kommentiert von Martin am: 11.11.2005 um 07:42:16
- das ist tatsächlich bei einer Vielzahl von Seiten die Praxis, ausprobieren lohnt sich hier also immer. Einen ähnlichen Artikel Artikel zum Thema gibts unter http://blog.softwiki.org/archives/000024.html