Search Console Bug?

Anbei mal ein paar Screenshots von Crawling Fehlern aus der Google Search Console. Alle haben was gemeinsam ..

Seit einigen Tagen steigen bei einigen Websites die ich betreue die Anzahl der 404 Crawling Fehler in der Search Console. Teilweise auf das zehnfache. Kunde A hatte vorher immer so 2000 Fehler an dieser Stelle angezeigt bekommen .. jetzt sind es 20.000. An der Website wurde aber in besagtem Zeitraum nichts verändert. Los gegangen ist das Ende August / Anfang September als auch das bisher unkommentierte Google Index Update war.

Gemeinsam ist fast allen neuen 404 Fehlern das es die Seiten schon lange nicht mehr gibt .. teilweise über ein Jahr und das es auch die Links dahin schon fast so lange nicht mehr gibt.

Will sagen .. das waren schon mal korrekte 404 Fehler für 1-2 Wochen. Die dann aber gefixt wurden. Also die Links dahin wurden entfernt.

Hier mal einige Beispiele von SEORCH:

search-console-1

search-console-2

search-console-3

search-console-4

search-console-5

Ich kenne SEORCH ja zwangsweise sehr genau .. und die Website verfügt nur über 20-30 statische Seiten. Die ersten zwei Screenshots (todo.html und babycrawler.html) wurden vor über einem Jahr abgestellt. Die Links dahin im gleichen Zeitraum entfernt.

Bei Screenshots 3-5 sieht man es noch genauer da die URL einen Timestamp hat (März 2015). Diese Ergebnisseiten werden max. 1 Monat gespeichert und dann automatisch gelöscht. Die Links dahin existieren maximal 3-4 Tage von der Startseite der Tools und verschwinden dann ebenfalls automatisch. Trotzdem findet Google sie “neu” z.b. am 23.08.2016. Das ist falsch und zwar schon seit einem Jahr.

Also bevor man jetzt in Panik verfällt sollte man (mal wieder) von einem Search Console Bug ausgehen.

Über die Gründe kann man nur spekulieren .. wir hoffen ja alle nicht das Google einen alten Indexstand in seine Suche eingespielt hat 😉 Es gibt sogar ne Data Anomalies Seite für die Search Console .. da steht allerdings keine Meldung.

Andere haben das Problem auch: hier, hier, da, dort, mmh, woanders, auch da und hier

SEORCH Backlinktool

Oh Gott jetzt hat der Idiot auch noch ein weiteres Backlinktool gelauncht .. ist in der Regel der erste Gedanke wenn ich ein Neues sehe. Jetzt habe ich auch eins gebaut und das hat Gründe.

Backlink != Backlink

Die Frage die ich mir bei vielen Tools stelle: Wie kommt ihr an eure Backlinks? Viele werden einen eigenen Crawler haben oder bauen auf irgendeiner Datenbasis eines anderen Anbieters auf. Keiner hat Zugriff auf die Google Datenbasis. Oft finde ich darin Links die schon lange nicht mehr funktionieren. Backlinks die ich z.b. innerhalb der letzten Woche erhalten habe werden meist nicht gefunden. Und die größte Frage die ich mir stelle: Sind die angezeigten Backlinks für Google überhaupt relevant?

Backlink Quellen werden nicht offengelegt, man wirbt mit magischen Crawlern und Algorithmen und keiner beachtet die Quelle die wirklich zählt: Google.

Was nützt mir ein guter Backlink wenn Google ihn nicht kennt und umgekehrt .. was schadet mir ein schlechter Backlink wenn Google ihn nicht kennt?

Gut jetzt kannst du sagen ich kann die Backlinks ja in der Search Console nachsehen. Aber selbst diese Daten sind nicht vollständig bzw. finde ich da drin auch noch Links die nicht mehr funktionieren. Außerdem sehe ich den Linktext nicht und diverse andere Infos fehlen mir auch. Mach dir mal den Spass und prüfe das.

TL;DR: die Welt der Backlinktools ist sehr esoterisch und eigentlich kaputt.

Okay .. und jetzt?

These: Mich interessieren nur Backlinks die Google kennt. Weil eben nur diese in die Linkbewertung und letztendlich in die Seitenbewertung mit einbezogen werden.

Folglich brauche ich ein Tool das die bekannten Backlinks aus Google herausholt und darstellt. Diese Backlinks müssen möglichst oft auf Funktion geprüft werden. Ich will wissen wie der Linktext ist, wie stark die Domain ist die auf mich verlinkt, Quelle -> Ziel .. das ist es eigentlich schon. Mehr brauche ich nicht .. vor ALLEM keine Backlinks die Google NICHT kennt. Ich will aktuelle Daten und neue Backlinks sollen schnell gefunden werden.

Ich habs dann mal gebaut

Mein Backlinktool kann das nun alles (und noch etwas mehr).

  • Zweimal pro Woche wird Google nach neuen Backlinks für die Domain durchsucht
  • Täglich werden die Backlinks auf Funktion geprüft
  • Zustand und Linktext wird angezeigt
  • Follow / Nofollow wird dargestellt
  • Man kann bequem filtern, suchen, exportieren, sortieren usw.
  • Backlinks können ebenso manuell hinzugefügt und gelöscht werden
  • Alle Backlinks erhalten eine Bewertung ihrer Stärke (0-100)

Das Tool gibt es aktuell wenn man den Keywordmonitor nutzt kostenlos dazu.
Ist alles noch Beta und baue da noch recht viel dran rum aber es funktioniert schon sehr zuverlässig.

backlinktool

Update 15.08.2016

Bekomme Fragen gestellt ob Google nicht “alle” Backlinks kennt? Hmm .. Nein! Selbst Google ist nicht in der Lage das komplette Web zu crawlen und alle externen Links jeder Website aufzunehmen. Ich behaupte hier mal frech das Google max. 15% alle WWW Seiten crawlt. Google hat sicherlich mit die mächtigsten Crawler und ist aus meiner Sicht auch besser als der Crawler eines beliebigen Backlinktools.

Recap SEO Day 2015

letzten Freitag war ich als Speaker auf dem SEO Day 2015. War auch mein erster SEO Day und auch das erste mal das ich auf so einer großen Konferenz Speaker war. Mein Chef musste mich nichtmal dazu verdonnern .. denn ich hatte Bock. Also hat mich die beste SEO Agentur 2015 nach Köln geschickt um dort was über Enterprise SEO zu erzählen. Wie es sich für nen guten Speaker gehört bin ich natürlich etwas zu spät angekommen .. was ausnahmsweise mal nicht an der Bahn lag. Aber gut .. ich hatte ja sowieso noch Zeit bis mein Vortrag um 11:00 Uhr los ging.

Also habe ich erst mal alles abgeckeckt .. viele bekannte SEOs gesehen und mich dann erst mal in die Ü30 Ecke gesetzt und nen Kaffee getrunken.

Um 11:00 ging mein Vortrag los und ich hatte ein schweres Los. Auf dem SEO Day gab es dieses Jahr 4 parallele Slots und in den anderen Slots sprachen zu der Zeit Marcus Tober, Gero Wenderholm und Jens Fauldrath. Also hab ich eigentlich damit gerechnet das ich leeren Stühlen was über die Fallstricke von Enterprise SEO erzähle.

Falsch gedacht.

Der Raum war voll .. ab da wurde ich dann etwas nervös.

Malte Landwehr war als Moderator da und hat dann kurz ein Kick Off gemacht und dann ging es auch schon los. Meinen Vortrag findet ihr bei Slideshare. Es hat alles prima geklappt .. ich konnte mein Thema (denke ich) gut rüber bringen und es kamen sogar Fragen ..

Dann hab ich aber erst mal wieder nen Kaffee gebraucht.

Eigentlich wollte ich mir dann noch einige Vorträge ansehen, aber ich kam irgendwie mit diversen Teilnehmern sofort ins Gespräch und hab dann den Rest des Tages mit diversen Diskussionen um technisches SEO verbracht .. nebenher 1-2 Startups beraten, ein paar Kunden getroffen und schwupps war auch irgendwie schon Abend.

Zur Party konnte ich leider nicht bleiben weil ich Abends noch nen Termin in Karlsruhe hatte.

Ich fand den SEO Day 2015 super, die Location im Kölner Stadion ist weit besser als irgend so ein Messegelände oder Kongresszentrum. Alles war von Fabian Rossbacher (dem Veranstalter) super organisiert, Catering war gut und es gab immer irgendwo was zu essen und eine große Getränkeauswahl.

Die Speaker (wenn ich auch wenige gesehen habe) waren hochklassig und der ganze Event macht irgendwie mehr Spass als die SMX in München .. alles war persönlicher und direkter obwohl es über 800 Leute waren.

Hoffe nur das ich nächstes Jahr nochmal als Speaker kommen darf 😉

Und hier findet ihr noch Bilder von mir.

Mein eigener Netflix Squid Proxy

Seit letzter Woche gibt es Netflix in Deutschland. Allerdings nicht mit dem vollständigen US Angebot. Es fehlen sämtliche Star Trek Serien, viele aktuelle Filme und Dokus und diverse neuere Staffeln populärer Serien.

Ein Bekannter gab mir dann den Hinweis das man sich mit dem deutschen Netflix Account auch im US Netflix einloggen kann .. allerdings benötigt man eine US IP Adresse.

Netflix filtert das Angebot für die jeweiligen Länder nach IP Ranges die diesen Ländern zugeordnet sind.

Nichts leichter als das. Für meine SEORCH Scraper betreibe ich sowieso ein paar kleine 5 Dollar Server in New York. Da sollte sich doch ein Proxy drauf installieren lassen. Quasi mein eigener US Proxy.

Natürlich gibt es solche Angebote zuhauf im Internet. Kosten alle ein paar Dollar im Monat und funktionieren auch prima. Aber ich finde selber machen immer noch um Welten cooler als dafür zu bezahlen.

Werkzeug

Du brauchst also einen kleinen Linux Server auf dem du Superuser Rechte hast, der muss zwingend eine US IP Adresse haben. Ich hab meinen bei Digital Ocean .. das kleinste Paket reicht um sicher 10 – 20 Kumpels auch noch damit zu versorgen. 1 TB Transfer muss man auch erst mal wegballern. Daneben musst du dir zutrauen auf der Linux Konsole Programme zu installieren und mit VI oder NANO Textfiles zu editieren.

Konsolen Foo

Erst mal Paketmanager Update machen und dann squid installieren .. ggf. mit sudo davor wenn ihr keine root Rechte habt.

CentOS:

yum update
yum install squid

Ubuntu:

apt-get update
apt-get install squid squid-common

Dann müsste in beiden Fällen unter /etc/squid/squid.conf die Squid Config Datei liegen. An der pfuschen wird gleich rum darum am besten ein Backup davon machen:

cp squid.conf squid.conf.bak

Jetzt bearbeiten wir schnell die squid.conf .. ihr könnt sie natürlich auch per FTP öffnen oder direkt auf der Konsole bearbeiten wie man das lieber mag. Dort muss dann folgendes rein:

via off
forwarded_for off

Das dient dazu den Proxy zu anonymisieren. Transparente Proxys reichen eure IP an den Zielserver weiter. Mit diesen Einstellungen sieht Netflix dann nur noch die IP des Proxy Servers.

Such dann die Zeile -> http_access deny all und kommentiert das aus. Wir lassen für den ersten Test erst mal alle Zugriffe auf den Proxy zu. (Das solltet ihr später dann ändern).

# http_access deny all
http_access allow all

Dann starten wir Squid:

service squid start 
oder 
service squid restart

Nun sollte euer Proxy zu erreichen sein:
http://[SERVERIP]:3128

Genau diese Einstellungen müsst ihr nun auch in eurem Browser vornehmen. Unter MacOS findet man das unter Netzwerk und dann Weitere Optionen -> Proxies

Dort dann bei HTTP und HTTPS die IP und den Port eintragen und im Fenster davor dann auf Anwenden klicken.

Sicherheit

Natürlich solltet ihr euren Proxy nicht so offen im Netz stehen lassen. Naja kann man .. muss man aber nicht. Man kann Squid mit einem Passwort versehen und wie das geht steht hier.

Ebenso könnte man auch wieder in der squid.conf den Zugriff auf Netflix beschränken. Ich wollte hier aber nur eine schnelle Basisanleitung geben um Netflix US mit eigenen Mitteln zu nutzen.