Mit noindex doppelte Indizierungen vermeiden
Per Standard sind in einem Wordpress Blog einfach alle möglichen Seiten für die Indizierung der Suchmaschinen freigegeben. So kommt es vor, dass die Beiträge mehrfach im Index der Suchmaschinen enthalten sind, auf der Startseite, in den Kategorien-Seiten, in den Archiv-Seiten, in den Tags-Seiten, bei den Feeds usw. Sinnvoll oder nicht, darüber scheiden sich die Geister. Wer die Indizierungen seines Blogs einfach und sauber halten möchte, und den so genannten Double Content vermeiden möchte, kann auf Hilfsmittel zurückgreifen.
Als erstes muss die Entscheidung fallen, welche Bereiche für die Indizierung freigegeben werden sollen und welche Bereiche ausgeschlossen, also mit dem noindex Meta Tag versehen werden sollen. Dann empfiehlt sich die Installation des Plugins Robots Meta. Dieses Plugin ermöglicht in seinen Standardeinstellungen zum Beispiel den Ausschluss der Indizierung von Suchergebnissen, Login und Register Seiten, sämtlichen Admin Seiten sowie der Author-, Datenbank-, Kategorie- und/oder Tag-Archive. Es beinhaltet auch weitere interessante Einstellungen zu den Archiven und den internen nofollow Bereichen. Entscheidend wichtig war für mich auch die Möglichkeit, mit diesem Plugin, das sich zusätzlich in jeden einzelnen Beitrag und Seite setzt, nach Bedarf bei diesen den noindex beziehungsweise nofollow Meta Tag zu verwenden.
Alles was bereits über die Meta Tags auf noindex gesetzt wurde, muss nicht mehr über die robots.txt ausgeschlossen werden, die ja auch nicht unbegrenzt lang werden sollte. Sie stellt eine zweite oder auch erweiterte Möglichkeit dar, die Indizierungen in den Suchmaschinen zu unterbinden. Trotz des Robots Meta Plugins empfiehlt es sich hin und wieder seine Indizierungen zu überprüfen (site:www.domain.tld) und entsprechend die Einträge in der robots.txt vorzunehmen.
Ein weiterer Punkt, der mir bezüglich doppelter Indizierungen aufgefallen ist und scheinbar von vielen Wordpress Bloggern nicht beachtet wird, ist die Indizierung der einzelnen Seiten mit und ohne www vor dem Domainnamen. Eingehende Verlinkungen werden manchmal fehlerhaft auf die andere Version als die gewünschte gesetzt und schwups schon ist die entsprechende Seite zweimal im Index enthalten. Hierfür empfiehlt sie ein entsprechender Eintrag in der .htaccess Datei, der für die automatisierte Umleitung aller Seiten von domain.tld auf Seiten von www.domain.tld wie folgt aussehen könnte:
RewriteEngine on
RewriteCond %{HTTP_Host} ^domain.tld$ [NC]
RewriteRule ^(.*)$ http://www.domain.tld/$1 [L,R=301]