Schlagwort-Archiv robots.txt

VonDr.-Ing. Erik Neitzel
Was leistet eine Suchmaschine?

Möchte man die Rankings der eigenen Webseite für bestimmte Keywords verbessern, hilft ein Verständnis darüber, wie eine Suchmaschine denkt und operiert. Nur so gewinnt man ein tieferes Verständnis darüber, warum ein Google Ranking Check die Ergebnisse liefert, die man in einem Ranking Checker Tool sehen kann.

Eine moderne Suchmaschine wie Google leistet im Wesentlichen dreierlei:

  1. Crawling: Das Lesen des Quellcodes einer Webseite von Kopf bis Fuß innerhalb der Grenzen der jeweiligen robots.txt der betreffenden Seite
  2. Analyse: Das Verstehen der gecrawlten Webseite auf Basis des aktuellen technischen State of the Art der jeweiligen Suchmaschine
  3. Indexing: Die Aufnahme der analysierten Webseite in ein Verzeichnis, das für bestimmte Suchanfragen-Kombinationen bestimmte gecrawlte und analysierte Webseiten als Suchergebnis zurück gibt —  innerhalb der Grenzen der nofollow- und noindex-Attribute der jeweiligen Seiten

Wir werden uns nun anschauen, wie eine Suchmaschine arbeitet, und was das für deine Ranking Checks konkret bedeutet. Dabei ist schon das Crawling nicht so trivial wie man annehmen mag. Sprechen wir hierüber einmal detaillierter.

Crawling als Mindestvoraussetzung der Analyse einer Webseite

In regelmäßigen Abständen gelangt ein ganz besonderer Nutzertyp auf deine Webseite: der Googlebot. Er ist eine Maschine, die auf höfliche aber zielgerichtete Weise durch deine Webseite navigiert und dabei Daten sammelt, die es später zu analysieren gilt. Er wird deinen Webserver zwar nie mit übermäßig vielen gleichzeitigen Zugriffen herausfordern, verbringt aber dennoch nur wenig Zeit auf deiner Seite — denn andere Webseiten warten schon auf ihn.

Es mag trivial wirken, doch unterbundenes Crawling ist einer der Hauptgründe weshalb vermeintlich SEO-optimierte Webseiten schlechte Rankings bei Google einfahren. Google war dann schlichtweg nie in der Lage, die jeweilige Webseite zu besuchen. Warum? Weil Du keine, eine fehlerhafte oder eine unvollständige Sitemap vorhältst, oder Du dem Googlebot per robots.txt den Zugang zu bestimmten Bereichen der Webseite untersagt hast.

Es hilft sich vor Augen zu halten was eine Suchmaschine erreichen möchte. Sie möchte ein möglichst umfassendes Verständnis vom Aufbau der Webseite erhalten. Das meint nicht nur den Text der Seite, sondern auch ihren Aufbau (Sitemap) und ihr Aussehen. Das ist nicht zuletzt für die Prüfung auf Mobiloptimierung von großer Bedeutung. Zum Aussehen gehören aber beispielsweise auch Stylesheets und etwaige Skripte, die das Aussehen beeinflussen.

In einem modernen Content Management System wie WordPress liegt ein Teil der dafür erforderlichen Dateien nun in den Ordnern der installierten Plugins. Möchte man also in Anbetracht der wenigen Zeit, die ein Crawler auf der eigenen Seite verbringen kann, den Aufenthalt des Crawlers vermeintlich effizient gestalten, hat man schnell ein Problem. Der erste und völlig falsche Schritt, den viele SEOs begehen, liegt darin dem Crawler den Zugriff auf Plugin- und andere wichtige Verzeichnisse zu verwehren.

Doch halten wir uns vor Augen, das Google auch gern verstehen möchte, wie die Seite optisch aufgebaut ist, schränkt man durch Ausschluss des Googlebots die Analyse-Voraussetzungen der eigenen Webseite radikal ein.

Sorge daher bitte stets dafür, dass dem Crawling deiner Webseite keine Schranken gesetzt sind. Befreie die robots.txt von überflüssigen Disallow-Einträgen.

Analyse einer Webseite als Vorbereitung ihrer Indexierung

Hat eine Suchmaschine deine Webseite einmal durchpflügt, ist es ihre (vollkommen verdeckte) Kernaufgabe, diese Seite zu analysieren. Hierbei kommen verschiedene Ebenen ins Spiel, die gleichzeitig natürlich auch genau die zu adressierenden Faktoren sind, möchte man sein Google Website Ranking verbessern:

  1. Technische Basis-Ebene: Hält deine Webseite eine saubere Auszeichnung (HTML, CSS) und fehlerfreie Ausführbarkeit (insbesondere Skripte) vor oder ist sie teilweise fehlerhaft? Etwaige Fehler werden von verschiedenen Browsern unterschiedlich gut ausgeglichen und beeinflussen das Surf-Erlebnis eines Besuchers.
  2. Semantische Ebene: Kann die Suchmaschine verstehen, worum es auf deiner Seite geht? Gibt es eine Sitemap? Enthält deine Seite eine Menüstruktur und/oder Kategorien, die den Aufbau deiner Seite verständlich machen? Sind Bilder sprechend beschrieben (alt-Attribut)? Sind Artikel so untereinander verlinkt, dass sie weiterführende Informationen bieten und gleichzeitig die jeweiligen Unterseiten näher beschreiben und in einen Kontext setzen? Sind die Artikel inhaltlich erschöpfend oder nur oberflächlich geschrieben? Haben deine Inhalte Relevanz zum Thema deiner Seite im Allgemeinen?
  3. Compliance-Ebene: Ist die Kommunikation zwischen dem Client und deinem Webserver verschlüsselt? Sind alle Pflicht-Seiten wie Impressum und Datenschutzerklärung auf deiner Seite enthalten?
  4. Performance-Ebene: Lädt die Seite ausschließlich die Ressourcen, die zum Rendern der Seite erforderlich sind? Laden diese Ressourcen in einer für den Besucher akzeptablen Geschwindigkeit?
  5. Mobil-Optimierung: Hält deine Seite eine responsive-optimierte Version vor, die das Laden für Mobilgeräte beschleunigt und mobilen Nutzern eine ergonomisch aufbereitete Ansicht bietet?
  6. und vieles mehr

Diese und weitere Punkte werden für jede Webseite analysiert. Die hierbei erstellte Bewertung ist die Basis für die Vergabe einer bestimmten Platzierung in Relation zu anderen Seiten, die ähnliche Begriffe enthalten.

Platzierungen sind niemals völlig statisch, da Google als Teil der Analyse deiner Webseite (a) jedes Keyword gegen die Akzeptanz der Besucher testet, und (b) den Analyse-Mechanismus permanent weiterentwickelt.

Indexing als Ergebnis der Analyse für einen bestimmten Suchbegriff

Jede durch eine Suchmaschine wie Google analysierte Webseite enthält für jedes Kriterium das analysiert wurde eine konkrete Bewertung durch den Analyse-Algorithmus. In Abhängigkeit davon, wie ein Nutzer seine Suchanfrage stellt, werden für bestimmte Suchbegriffe nun bestimmte Webseiten aus einer großen Datenbank zurückgegeben.

Diese Datenbank enthält die Suchbegriff-Webseiten-Kombination sowie die Reihenfolge, in der bestimmte Webseiten für diesen Suchbegriff und seine jeweiligen syntaktischen und semantischen Wortverbindungen aufgeführt werden. Das nennen wir den Index einer Webseite, beispielsweise den Google-Index.

Jeder Index ist permanent in Bewegung. Der Grund, dass die Rankings deiner Webseite für bestimmte Suchbegriffe regelmäßig schwanken ist der, dass Google das Akzeptanzverhalten deiner Webseite für Besucher regelmäßig testet. Wird deine Webseite dann bevorzugt besucht, und wechselt ein Besucher nicht sofort auf ein anderes Suchergebnis, stehen die Chancen gut, dass dein Ranking künftig steigt.

Die Gesamtmenge an Besuchern wird anfangs jedoch meist konstant gehalten. Besonders die Suchmaschine Google hat kein Interesse daran deiner Webseite über Nacht besonders viele (oder besonders wenig) Nutzer zu bescheren. Sie hat jedoch ein sehr starkes Interesse daran permanent dafür zu sorgen, dass die Besucher, die mit ihrer Suchanfrage zu deiner Webseite passen, dich auch wirklich finden können.

Ranking Checks sind das Überprüfen der aktuellen Platzierung eines Keywords im Index der Suchmaschine zum Zeitpunkt der Prüfung.

Das Fazit: Nachhaltiges SEO ist Optimierung für den Besucher

Was sagt uns das und was bedeutet es für deine SEO-Aufwände? Nachhaltige Suchmaschinen-Optimierung ist immer eine Optimierung für den Besucher, nicht die Maschine. Sämtliche Algorithmus-Anpassungen, die Google bei Analyse und Indexierung deiner Webseite vollzieht, werden sich immer um folgende Fragen drehen:

“Passt der vermittelte Besucher zu deiner Webseite? Wird er finden wonach er sucht?”

Wenn Du eine Webseite entwickeln und schreiben kannst, die Menschen tatsächlich sehr gut bedienen können und sehr gern lesen wollen, dann kannst Du dir soliden und stetig wachsenden Platzierungen deiner Webseite sicher sein. Auf diesem Weg steht dir unser SERPBOT für deine Google Ranking Checks mit Rat und Tat zur Seite.