Darius und Jan-Peter erklären, wie man den Googlebot mit Search Console und Logfiles besser versteht und über robots.txt sowie interne Verlinkung gezielt steuert. Ziel: mehr Crawling-Effizienz, schnellere Indexierung der wichtigen Seiten und weniger unnötige Requests (E-Waste/CO₂).
Darius ist seit 2010 als Online-Marketer aktiv und hat seitdem verschiedene Führungspositionen inhouse und in Agenturen bekleidet. Seine größte Leidenschaft besteht darin, Prozesse und Rahmenbedingungen zu schaffen, damit Menschen aufblühen und Erfolg planbar wird. In den letzten Jahren lag sein fachlicher Schwerpunkt vor allem im Bereich SEO, weshalb er oft als Speaker auf der SEOkomm u.a. SEO-Konferenzen anzutreffen war. Nun folgt sein erster Auftritt auf der OMX mit seinem neuen Leidenschaftsthema: Leadership.
Jan-Peter Ruhso absolvierte gleich mehrere Studiengänge und hat u.a. einen Master in Online Media Marketing. Als SEO-Manager arbeitete er in (Führungs-)Positionen wie z.B. bei Peek & Cloppenburg Düsseldorf, FASHION ID, Planet Sports München, Allgemeine Bausparkasse, A1 und vielen mehr. Seit 2016 ist Jan-Peter selbstständig unter dem Namen eCom VIKINGS (SEO Beratung für E-Commerce) und seit 2018 Founder der SEO-Spezialsoftware crawlOPTIMIZER (SEO Logfile Analysen). Sein Know-how zeigt er auch als Lehrbeauftragter für E-Commerce SEO an der Werbeakademie Wien im „Diplomlehrgang E-Commerce“.
Im Vortrag zeigen Darius und Jan-Peter, warum Crawling im SEO oft der unterschätzte Hebel ist: Crawling garantiert kein Ranking – aber ohne Crawling gibt es kein Ranking. Weil viele Maßnahmen rund um Indexierung am Ende auf Recrawls hinauslaufen, lohnt es sich, den Googlebot aktiv zu verstehen und gezielt zu lenken – statt ihn planlos Ressourcen verbrennen zu lassen.
Der schnellste Augenöffner ist die Server-Logfile-Analyse – wie der Blick unter die Motorhaube. In Access-Logs lassen sich Google-Crawler zuverlässig identifizieren (primär über IP/Reverse-DNS, User-Agent nur ergänzend). Wer zunächst grob starten will, nutzt die Crawling-Statistiken in der Google Search Console. Für tieferes Debugging empfehlen die beiden Tools wie Logfile-Analyzer, Datenbanken (z. B. BigQuery) und – für dauerhaftes Monitoring – spezialisierte Lösungen.
Wichtiger als die klassische Sorge um das „Crawl Budget“ ist laut den Speakern die Crawling-Effizienz: Wird eine Website ineffizient gecrawlt, wird Budget verschwendet, wichtige Seiten werden langsamer erfasst – und es entsteht unnötiger Energieverbrauch (E-Waste). Crawl Budget setzt sich aus Kapazitätslimit (Server kann liefern) und Crawling-Bedarf (Relevanz/Wichtigkeit im Wettbewerb) zusammen.
Die zentralen Stellschrauben sind robots.txt, Meta-Robots, sauber gesetzte (crawlbare) Links und eine klare interne Verlinkung. Ziel ist, Google früh auf business-relevante URLs zu lenken, damit sie schneller erfasst, indexiert und damit potenziell früher ranken. Als Nebeneffekt lassen sich PageSpeed-Potenziale ableiten und unnötige Requests reduzieren.
Anhand realer Beispiele zeigen die beiden typische „Budget-Fresser“: unnötige API-Requests (GET/POST), massenhafte SVG-Requests ohne Caching, fehlerhafte Content-Types oder extreme Parameter-Varianten. Ein Quick-Win kann das Blocken nicht relevanter Ressourcen per robots.txt sein – aber nur, wenn diese Requests keinen suchrelevanten Content liefern. Ein Case verdeutlicht den Effekt: durch Caching wurden große Datenmengen und messbar CO2 eingespart, während sich das freigewordene Crawling auf wichtigere Bereiche verlagerte.
Bei Relaunches gilt: Google muss die Seite neu lernen – zu harte Einschränkungen können Sichtbarkeit kosten. Kritische Inhalte (vor allem HTML-Links) sollten im initialen HTML vorhanden sein, nicht erst nach Rendering. Viele JS-Requests lassen sich prüfen, indem man in DevTools Ressourcen testweise blockiert und vergleicht, ob SEO-kritischer Content (Titel, Texte, Produkte, Links) noch vorhanden ist.
Die Online Expert Days vereinen, was schon immer zusammengehört: die OMX und die SEOkomm. Die Fachkonferenzen für Online Marketing und Suchmaschinenoptimierung am 26. & 27.11.2026 im Herzen von Salzburg.
Gleich Ticket sichern!
