SEO Analyse

8 mal 5  =  Bitte Ergebnis eintragen

Crawler/Robots richtig steuern

Die Robots steuern

Um die Suchmaschinen zu steuern (in der Regel wird dabei von Robots, Crawlern oder Spidern gesprochen), kann man sich zwei Methoden bedienen, die bestenfalls kombiniert werden.

  1. Erstellen einer robots.txt Datei, die im Web-Root angelegt wird
  2. Einfügen des Metatags <meta name="robots" content="index, follow" />

Beispiel für den Inhalt der robots.txt

# Ganze Site freigeben
User-agent: *
Disallow:

# Alle Robots für den Ordner temp ausschließen
User-agent: *
Disallow: /temp/

Gültige werte für das Attribut "content" des Robots-metatags:

index/noindex, follow/nofollow

index: Seite durchsuchen und in den Suchmaschinenindex aufnehmen
noindex: Seite nicht in den Index aufnehmen
follow: Links, die auf der Seite gefunden werden folgen
nofollow: Links der Seite nicht folgen

Normalerweise sind die Werte "index, follow" zu verwenden, es sei denn, sie möchten bestimmte Seiten ausschließen, dann empfiehlt sich die gezielte Verwendung des "noindex"-Attributs.

Weiterführende Infos

Weitere Informationen zum Thema "robots.txt" sind noch nicht vorhanden. Erfahre, wie du hier auf dieser Seite zum Keyword "robots.txt" mit dem SEO Contest einen kostenlosen Backlink generieren kannst.