SEO Spider (Alpha 2)

Ich habe gerade die zweite Alpha Version von meinem SEO Spider veröffentlicht. In den letzten Tagen habe ich jede Menge Bugs behoben, ein paar neue Features eingebaut und etwas an der Optik gefeilt.

Daneben habe ich noch ein paar hundert verschiedene Websites damit gecrawlt um noch weitere Fehler zu finden.

Meine Lieblingskandidaten waren dabei die Websites von Siemens (WTF), Beiersdorf (Umlaute in Pfadnamen), Continental AG (Meta Refreshs) und wie immer die Telekom (SCHMERZEN).

Neue Features:

  • User Agent Switcher (Google, Yandex, Bing, None)
  • CSV Exports
  • Urls mit mehr als 115 Zeichen
  • zu kurze Texte
  • Analyse der X-Robots und Meta Robots
  • Meta Refreshs werden gefunden
  • interne Links, externe Links
  • Seiten mit mehr als 100 ausgehenden Links
  • Seiten mit wenig eingehenden Links
  • HTTP Hops (301, 302) wird korrekt gefolgt und die Zielseite angezeigt
  • Umlaute in URLs funktionieren
  • die Analyse wird gespeichert -> Permalink
  • Links in SCRIPT Tags wird nicht mehr gefolgt
  • korrektes Encoding der Website (DaumenDrück)
  • prüft auf Mime Type / Dateiendung
  • Spider Modul weiter verbessert

Fertig bin ich immer noch nicht .. aber meine ToDo Liste ist merklich geschrumpft. Vor dem ersten Release möchte ich noch etwas an Optik und Layout arbeiten, auf Dateigrößen prüfen, fehlende ALT Tags ausgeben, Inline Styles und Inline JS anzeigen.

Daneben auch noch doppelte, SEO relevante Tags finden (Canonical, Robots), GET Parameter anzeigen usw.

Trotzdem .. ich finde das Tool funktioniert schon so robust wie ich es mir vorstelle.

Es werden maximal 250 Seiten gecrawlt .. allerdings nur sofern die gecrawlte Website schnell antwortet. Liegt die Antwortzeit der Seite über 4 Sekunden können es z.b auch nur 30 Seiten sein.

Und hier könnt ihr den SEO SPIDER testen.