Malte Landwehr

Freitag.de scheitert schon an den Grundlagen der Suchmaschinenoptimierung und platziert die Robots.txt-Datei falsch.

Es soll ja vorkommen, dass Menschen sich selber googeln. Ich bin einer davon und war leicht verwundert als ich bei einer Suche nach meinem Namen eine Unterseite der Domain z1.application2.kba.d9t.de erblickte, deren Title- und Description den Eindruck erweckten, es handle sich um ein Blog von mir. Nach einem Klick war klar: Es ist mein vor kurzem angelegtes Profil auf Freitag.de

Mein Profil

Mein Freitag.de-Profil sollte eigentlich unter der folgenden URL aufrufbar sein:

freitag.de/community/profiles/blogs/mlandwehr

doch bei Google läuft es unter

z1.application2.kba.d9t.de/freitag/community/blogs/mlandwehr

Und tatsächlich: Unter dieser merkwürdigen Domain ist die gesamte Freitag.de Internetpräsenz aufrufbar.

Zahlen & Fakten

Mithilfe der folgenden Google Abfrage kann man feststellen, wie viele Unterseiten einer (Sub)Domain im Index von Google sind.

site:z1.application2.kba.d9t.de

Ich habe für Freitag.de und die Mirrors von d9t die folgenden Werte ermittelt:

•  332.000 unter freitag.de
• 35.200 unter z1.application2.kba.d9t.de
• 1.370 unter z2.application2.kba.d9t.de
• 955 unter z4.application2.kba.d9t.de
• 1 unter z8.application2.kba.d9t.de

Ursache

Offensichtlich legt der Webhoster von Freitag.de (die D9T GmbH) diverse Subdomains an (ob da jetzt einzelne Server, Mirrors, Load-Balancer, Cluster, Backup-Server oder was auch immer hinter hängen ist aus Googles Sicht egal) und diese werden in Google gefüttert.

Fehler & Lösung

Unter z1.application2.kba.d9t.de/freitag/robots.txt findet sich eine Datei mit folgendem Inhalt:

User-agent: *
Disallow: /

Die Robots.txt dient der Kommunikation mit dem Crawler einer Suchmaschine. Und diese hier sagt eindeutig: Für jeden Bot sind alle Inhalte verboten. Es gibt nur ein Problem:

DIE ROBOTS.TXT GEHÖRT INS ROOT VERZEICHNIS!

Hier liegt sie jedoch im Unterordner /freitag/. Würde man sie einfach nach z1.application2.kba.d9t.de/robots.txt verschieben, so würde diese Subdomain wieder aus dem Google-Index verschwinden. Weiter Informationen hierzu liefert Google in seiner Webmaser Hilfe.

Es gibt jedoch auch zwei alternative und wesentlich elegantere Lösungsansätze.

Die Lösung über die Base-Adresse der Links

Surfe ich auf z1.application2.kba.d9t.de/freitag, werden alle internen Links automatisch an diese Subdomain angepasst. Dies ließe sich einfach beheben, wenn man als Base-URL immer www.freitag.de festsetzen würde.

Die Lösung über rel="cannonical"

Für den Fall, dass ein Inhalt unter mehr als einer URL zu finden ist, gibt es einen speziellen HTML Tag: rel="cannonical". Warum und wie man ihn einsetzt erklärt Google selbst in seiner Webmaster Hilfe.