Darius ist seit 2010 als Online-Marketer aktiv und hat seitdem verschiedene Führungspositionen inhouse und in Agenturen bekleidet. Seine größte Leidenschaft besteht darin, Prozesse und Rahmenbedingungen zu schaffen, damit Menschen aufblühen und Erfolg planbar wird. In den letzten Jahren lag sein fachlicher Schwerpunkt vor allem im Bereich SEO, weshalb er oft als Speaker auf der SEOkomm u.a. SEO-Konferenzen anzutreffen war. Nun folgt sein erster Auftritt auf der OMX mit seinem neuen Leidenschaftsthema: Leadership.
Jan-Peter Ruhso absolvierte gleich mehrere Studiengänge und hat u.a. einen Master in Online Media Marketing. Als SEO-Manager arbeitete er in (Führungs-)Positionen wie z.B. bei Peek & Cloppenburg Düsseldorf, FASHION ID, Planet Sports München, Allgemeine Bausparkasse, A1 und vielen mehr. Seit 2016 ist Jan-Peter selbstständig unter dem Namen eCom VIKINGS (SEO Beratung für E-Commerce) und seit 2018 Founder der SEO-Spezialsoftware crawlOPTIMIZER (SEO Logfile Analysen). Sein Know-how zeigt er auch als Lehrbeauftragter für E-Commerce SEO an der Werbeakademie Wien im „Diplomlehrgang E-Commerce“.
Dieser Vortrag von Darius und Jan-Peter behandelt das Thema Crawl Management und die effiziente Steuerung des Googlebots. Er richtet sich an SEO-Profis, die mittelgroße bis große Websites betreuen – insbesondere Onlineshops und Publisher –, und zeigt auf, wie man mit Logfile-Analysen und gezielten technischen Maßnahmen das Crawling-Verhalten von Google analysiert und optimiert.
Der Einstieg führt in die Analyse von Server Access Logs ein. Über die IP-Range 66.249 lässt sich der Googlebot identifizieren; ein Reverse-DNS-Lookup oder Googles öffentliche IP-Listen ermöglichen eine präzise Klassifizierung. Zur Überwachung stehen drei Methoden bereit: die Crawling-Statistiken in der Google Search Console, einmalige Logfile-Analysen (z. B. mit dem Screaming Frog Log File Analyzer oder BigQuery/Data Studio) sowie dauerhaftes Monitoring mit Tools wie Logrunner, Logsio oder dem crawlOPTIMIZER.
Das Crawl Budget setzt sich aus dem Kapazitätslimit des Servers und dem crawling-bezogenen Bedarf zusammen. Wichtiger als das Budget selbst ist die Crawling-Effizienz: Alle 200er-Statuscodes verbrauchen Crawl Budget; Backoff-Signale wie 429, 500 und 503 können innerhalb von zwei Tagen zur Deindexierung führen. Grundsatz: „Crawling garantiert kein Ranking, aber kein Crawling garantiert kein Ranking.“
Drei Maßnahmenkategorien werden vorgestellt. Content-seitig: Duplicate Content, Thin Content und Soft-404-Seiten konsolidieren oder entfernen; die Search-Console-Seitenindexierung liefert hierzu direkte Hinweise. Onpage: flache Seitenarchitektur, saubere interne Verlinkung, Vermeidung unnötiger Parameter-Crawlings. Technisch: korrektes Caching (ETag + 304-Statuscodes), HTTP/2 für paralleles Ressourcen-Streaming, hochperformante Server und die Vermeidung von Weiterleitungsketten (ab 10 Weiterleitungen stoppt der Googlebot bereits früher in der Praxis).
Anhand eines realen Cases werden 870.000 unnötige GET-API-Calls und 1.400.000 fehlende SVG-Cachings pro Monat identifiziert. Allein durch Caching-Implementierung ließ sich ein Gigabyte Download-Volumen täglich einsparen – hochgerechnet entspricht das einer Reduktion von 1,2 Tonnen CO₂ auf einer einzigen Website.
Als pragmatische Alternative zum komplexen PRG-Pattern wird Base64-Encoding für die Link-Maskierung vorgestellt. Google dekodiert Base64 nur, wenn es im Quellcode in einem A-Tag mit href-Attribut erscheint – wird dies vermieden, bleibt die Maskierung wirksam. Für das Siloing von Navigation empfiehlt sich das On-Hover-Nachladen von Flyout-Menüs, damit der Googlebot nur selektiv interne Strukturen erfasst.
Beim JavaScript-Crawling gilt: Ressourcen, die keinen suchrelevanten Content liefern, können nach einem definierten Testverfahren via Chrome DevTools (User Agent auf Googlebot Mobile setzen, Cache deaktivieren, Requests blockieren, HTML-Vorher-Nachher-Vergleich) bedenkenlos gesperrt werden. Bei internationalen Websites ist zu beachten, dass das Crawl Budget immer pro Host vergeben wird – Sprachverzeichnisse können dazu führen, dass die Prioritätssprache seltener gecrawlt wird als gewünscht.
Den Google Search Console Crawling-Statistiken regelmäßig prüfen: mehr Ressourcen-Crawls als HTML-Crawls sowie mehr „Laden der Seitenressource“ als Smartphone-Crawls sind klare Warnsignale für Ineffizienz.
Logfile-Analysen nicht nur reaktiv, sondern besonders vor und nach Relaunches einsetzen, um sicherzustellen, dass der Googlebot businessrelevante Seiten priorisiert erfasst.
Caching konsequent implementieren (ETag + 304, HTTP/2): Fehlende Caching-Konfigurationen sind einer der häufigsten Treiber für massiv verschwendetes Crawl Budget und unnötigen E-Waste.
JavaScript-Requests, API-Calls und Parameter-Crawlings systematisch auf Suchrelevanz prüfen und irrelevante Requests via robots.txt sperren – aber niemals Content-liefernde Ressourcen blockieren.
SEO-kritischer Content (Titel, Links, Produkte) muss bereits im initialen HTML-Code vorhanden sein und darf nicht erst durch JavaScript-Rendering entstehen.
Dauerhaftes Crawling-Monitoring aufsetzen: Werden businessrelevante Seiten seltener als alle 30 bis 60 Tage recrawlt, liegt ein strukturelles Problem vor, das priorisiert behoben werden sollte.
Die Online Expert Days vereinen, was schon immer zusammengehört: die OMX und die SEOkomm. Die Fachkonferenzen für Online Marketing und Suchmaschinenoptimierung am 26. & 27.11.2026 im Herzen von Salzburg.
Gleich Ticket sichern!
