Mit AJAX Links vor Google verbergen

In der Firma hatte ich letzte Woche wieder die Diskussion ob man Links die mit dem Thema einer Seite nichts zu tun haben vor dem Google Bot verbergen soll oder nicht.

Ich arbeite bei 1&1 wir verkaufen DSL, Mobilfunkverträge, Webspace, Server usw. Wenn sich der Google Bot nun beispielsweise im Bereich Server befindet sollen keine störenden Links zu DSL Produkten zu finden sein. Sondern nur Links die zu artverwandten Themen führen. Man nennt dies eine Clusternavigation. Alle Links eines Themenbereichs sollen sich nur im selben Kategorie-Themen-Cluster bewegen. Also konkret .. keine Links von DSL zu Hostingprodukten.

Problem ist jetzt, das wir das dem User sehr wohl anbieten wollen und auch müssen. Über die Hauptnavigation hat der Kunde jederzeit die Möglichkeit von DSL zu SERVERN zu springen.

Um dies aber dem Google Bot nicht zu ermöglichen sollen Links zu Fremdthemen per Ajax nachgeladen werden.

Dies erfolgt in der Annahme das Google kein JavaScript auf den Seiten ausführt und somit die Links nie zu sehen bekommt.

Mein Kollege Nico hat schon bewießen das selbst ein BASE64 codierter JavaScript Link von Google gefunden wurde.

Headless Browser?

Seit einigen Jahren gibt es allerdings Headless Browser wie z.b. der PhantomJS. Mit diesen kann man auch programmatisch, ohne großen Aufschlag, JavaScript inkl. Ajax ausführen und die Seite also so rendern wie das ein stinknormaler Firefox oder Chrome macht.
Dieser Headless Browser sieht also alles was der User auch sieht. Wenn Google mit Headless Browser crawlt dann kann man per Ajax keine Links verbergen.

Testszenario

Ich habe in einer Seite die sich im Google Index befindet zwei Ajax Requests untergebracht. Diese laden Textdateien in denen sich ein ganz normaler A HREF befindet.
Nach dem Laden werden die Links per JavaScript in den Quelltext eingebunden. Beide verlinkten Seiten habe ich neu angelegt. Sie wurden nicht in Google Chrome aufgerufen und sind auch nirgendwo sonst verlinkt. Beide Seiten haben ein eindeutiges Keyword: PfaffenroterHeavyMetalHamsterpuff und NordKoreanischerPupsnasenEiterich 🙂

Ich bin jetzt mal gespannt was passiert und halte euch direkt hier auf dem laufenden.

Update 14.09.2013

Die zwei Keywords befinden sich nun im Index. (Klickt einfach oben auf die Keywords). Allerdings nicht die Seiten die per AJAX verlinkt sind. Die Keywords habe ich extra auf der Seite von der die Links weggehen nochmal erwähnt um zu sehen wann/ob der Google Crawler vorbei kam.

Update 03.10.2013

Beide Seiten befinden sich immer noch nicht im Google Index. Aktuell gehe ich davon aus, daß Google eine bestimmten Trigger benötigt um die Seiten mit nem Headless Browser aufzurufen. Insofern muss ich derzeit davon ausgehen das sich per AJAX Links vor Google verstecken lassen.