Darius Erdt, Jan-Peter Ruhso, SEOkomm 2021

Dieser Vortrag von Darius und Jan befasst sich intensiv mit dem Thema Google Index Management – von den technischen Grundlagen der Indexierung über häufige Indexierungs-Phänomene bis hin zu konkreten Lösungswerkzeugen. Er richtet sich an SEO-Verantwortliche, die große Webseiten betreuen und sowohl das gezielte Aufnehmen relevanter URLs in den Index als auch das zuverlässige Entfernen irrelevanter Inhalte beherrschen wollen.

Technische Grundlagen des Indexierungsprozesses

Jan erklärt zunächst die drei Indexierungszustände: indexiert, nicht indexiert und partiell indexiert. Letzteres entsteht etwa durch Mobile First Indexing, wenn der Googlebot mit dem mobilen User Agent crawlt und Desktop-Inhalte schlicht nicht sieht, aber auch durch fehlerhaftes JavaScript oder HTML-Layout-Probleme. Zur Prüfung des Indexierungsstatus stehen drei Methoden bereit: die klassische Site-Suchabfrage kombiniert mit einem Textfragment, die URL-Prüfungsfunktion der Google Search Console sowie der Cache-Abruf per „cache:“-Operator.

Den eigentlichen Indexierungsprozess im System Caffeine beschreibt Jan detailliert: Nach dem Crawling folgen die Schritte Ingestion, Conversion (z. B. PDF zu HTML), Normalisierung, Collapsing (Erkennung von Soft-404-Seiten trotz Statuscode 200), Meta-Tag-Extraktion, NLP-basiertes Verstehen des Dokuments und schließlich das vollständige Rendering inklusive visueller Layoutanalyse. Erst dann werden alle Signale aggregiert, der Index gebildet und auf die Server gepusht – ein Prozess, der mehrere Stunden dauern kann.

Crawling-Effizienz steigern und Indexierung gezielt steuern

Eine saubere Indexierungsstrategie, die sich auf businessrelevante Seiten konzentriert, ist die Basis einer effizienten Crawling-Nutzung. Kurze Klicktiefen, eine konsequente Informationsarchitektur und crawlbare interne Links sorgen dafür, dass das verfügbare Crawl-Budget sinnvoll eingesetzt wird. Weitere Puzzleteile: Vermeidung von Serverfehlern, Soft-404-Seiten, Weiterleitungsketten und unnötigen Parametern durch Facettierung oder Session-IDs. Content-seitig empfiehlt sich die Konsolidierung von Thin Content sowie das Aussenden klarer Signale für entfernte Seiten via 410-Statuscode.

Zur aktiven Indexierungssteuerung eignen sich XML-Sitemaps mit Last-Modified-Tag, eine prominente interne Verlinkung mit sprechenden Ankertexten sowie das URL-Prüftool der Google Search Console. Für das Rendering gilt: Kritische Inhalte sollten möglichst im Roh-HTML verfügbar sein, um widersprüchliche Signale zu vermeiden. Das kostenlose Chrome-Add-on „Source“ sowie Screaming Frog helfen dabei, Differenzen zwischen Roh-HTML und gerendertem Zustand sichtbar zu machen.

Typische Index-Phänomene und ihre Ursachen

In der Praxis treten regelmäßig Situationen auf, in denen Seiten indexiert bleiben, obwohl technische Signale dagegensprechen. Dazu gehören: Indexierung trotz Noindex-Tag (weil ein erneutes Crawling ausbleibt, nachdem interne Links und Sitemap-Einträge entfernt wurden), Indexierung trotz Non-200-Statuscodes (wie bei Bitly-Shorturls mit 301-Weiterleitungen oder längst migrierten HTTP-Domains), Indexierung trotz Canonical-Tag (da dieser nur eine Kann-Bestimmung ist) sowie Indexierung trotz Robots.txt-Sperre (da Robots.txt nur das Crawling, nicht die Indexierung steuert). Den Business Impact dieser Phänomene ordnen Darius und Jan als Hygienemaßnahme ein – kein direkter Ranking-Hebel, aber relevant für Duplicate-Content-Vermeidung und Gesamtqualität der Website.

Werkzeuge für hartnäckige Index-Probleme

Wenn Standardmaßnahmen nicht greifen, bietet die URL-Entfernen-Funktion der Search Console die Möglichkeit, einzelne URLs oder URL-Präfixe für mindestens 6 Monate auszublenden – allerdings nur symptomatisch, da ohne Ursachenbehebung nach Ablauf der Frist eine Rückkehr droht. Ergänzend dazu existiert das Tool zum Entfernen veralteter Inhalte, das einen echten Recrawl auslöst und für beide Problemfälle – Indexierung wie Deindexierung – funktioniert. Das wirkungsvollste Werkzeug ist die Google Indexing API: In eigenen Tests wurden 700 von 800 nicht indexierten URLs innerhalb weniger Tage gecrawlt, 95 % davon erfolgreich indexiert. Eine Zott-Joghurt-Markenseite, die durch Soft-404-Erkennung im Collapsing-Schritt feststeckte, wurde nach dem API-Push bereits 13 Sekunden später gecrawlt und 8 Stunden später in den SERPs sichtbar.

Die wichtigsten Takeaways

• Konzentriert die Indexierungsstrategie konsequent auf businessrelevante Cash-Cow-Seiten – eine saubere Informationsarchitektur mit kurzen Klicktiefen bildet die Grundlage für effizientes Crawling.

• Kritische Inhalte gehören ins Roh-HTML; widersprüchliche Signale zwischen HTML und gerendertem Zustand verhindern zuverlässige Indexierung.

• Die Google Indexing API funktioniert auch jenseits von Jobangeboten und Live-Streams sehr gut – sowohl zum Forcieren der Indexierung als auch zur Deindexierung; 200 Requests pro Tag sind kostenlos, das Kontingent ist erhöhbar.

• Die URL-Entfernen-Funktion der Search Console ist eine schnelle Übergangslösung (6 Monate); das Tool für veraltete Inhalte löst einen echten Recrawl aus und ist für dauerhafte Deindexierung geeigneter.

• Indexierungs-Phänomene (Noindex ignoriert, Robots.txt umgangen, Canonical nicht respektiert) sind primär Qualitäts-Hygieneprobleme – kein Ranking-Booster, aber wichtig für sauberes Duplicate-Content-Management.

• Baut ein Index-Monitoring mit Site-Abfragen, definierten Erwartungswerten und automatischen Alerts auf, um Veränderungen frühzeitig zu erkennen und reagieren zu können.