Eine gut erstellte robots.txt-Datei hilft Ihnen, das Verhalten von Suchmaschinen-Bots zu steuern.
Ihre Website ist Ihr mächtigstes Inbound-Marketing-Asset, daher ist es entscheidend, strategisch zu verwalten, auf welche Seiten Suchmaschinen zugreifen können. Mit robots.txt können Sie nicht wesentliche Seiten von Suchmaschinen-Crawlern blockieren, um sicherzustellen, dass Ihr wertvollster Content Aufmerksamkeit und Indexierungspriorität erhält, wodurch eine fokussierte, hochwertige Präsenz in Suchergebnissen erhalten bleibt.
Eine robots.txt-Datei liefert Anweisungen, die Ihnen Kontrolle darüber geben, wie verschiedene Web-Crawler die Website Ihres Unternehmens erkunden. Lesen Sie weiter, um zu erfahren, wie Crawler funktionieren, wonach sie in einer robots.txt-Datei suchen und wie man sie schreibt.
Was ist eine robots.txt-Datei?
Diese Klartextdateien werden in das Root-Verzeichnis einer Website gelegt und teilen Suchmaschinen-Crawlern wie Googlebot und Bingbot mit, welche Seiten gecrawlt und welche ignoriert werden sollen.
Je nach Traffic-Volumen versuchen Suchmaschinen-Bots möglicherweise, Ihre Website täglich zu crawlen, was den Webserver belasten und Ladezeiten verlangsamen könnte. Doch mit einer robots.txt-Datei können Sie Seiten und Ressourcen identifizieren, die Crawler überspringen sollten, wodurch sich die Anzahl der Anfragen verringert, die der Webserver Ihres Unternehmens verarbeiten muss.
Warum ist robots.txt wesentlich für SEO?
Web-Crawler können viel Rechenleistung beanspruchen, besonders wenn mehrere gleichzeitig die Website Ihres Unternehmens erkunden. Eine robots.txt-Datei gibt Ihnen etwas Kontrolle darüber, wie sie Ihren Content crawlen, was zu den folgenden SEO-Vorteilen führen kann.
Optimiertes Crawling-Budget
Suchmaschinen bewerten die Autorität, Geschwindigkeit und Größe einer Website, um zu bestimmen, wie lange sie bereit sind, Ressourcen für das Crawling aufzuwenden. Nutzen Sie Ihre robots.txt-Datei, um unnötige Dateien auszuschließen, sodass Crawler wichtige Seiten während ihrer begrenzten Zeit auf Ihrer Website entdecken.
Blockierter doppelter Content
Doppelter oder redundanter Content kann zu Kanonisierungsproblemen führen, bei denen Suchmaschinen nicht bestimmen können, welche Seite die beste Wahrheitsquelle ist. Ohne diese Information können sie nicht das beste Ergebnis für eine verwandte Suchanfrage auswählen. Alles außer dem akkuratesten Content auszuschließen bewahrt Ihre Website davor, mit niedrigeren Positionen auf Suchergebnisseiten bestraft zu werden.
Geschonte Rechenleistung
Crawler sind extrem gut optimiert, um Ihren Webserver so wenig wie möglich zu beeinflussen. Doch der Einfluss ist trotzdem messbar, und eine robots.txt-Datei gibt Ihnen etwas Kontrolle darüber, wie stark diese Crawler die Performance Ihrer Website beeinflussen.
Ihre robots.txt-Datei kann zum Beispiel große Videodateien vom Crawling ausschließen, damit Ihr Webserver keine Leistung damit vergeuden muss, sie einem Bot auszuliefern. Statt dessen können sich Ihre Prozessoren darauf konzentrieren, Seiten für Website-Besucher:innen zu laden, was Google und andere Suchmaschinen beim Ranking von Seiten berücksichtigen.
Wie funktioniert eine robots.txt-Datei?
Robots.txt-Dateien legen Regeln fest, die Web-Crawler prüfen, bevor sie eine Website erkunden. Sie organisieren diese Regeln in Gruppen, die auf einige oder alle Crawler zutreffen, in der Datei selbst als „User Agents“ bezeichnet. Legen Sie Regeln für bestimmte User Agents fest oder nutzen Sie ein Sternchen (*), um alle Crawler zu bezeichnen (außer jenen, die das Sternchen ignorieren, wie AdsBot-Google und AdsBot-Google-Mobile).
Mit robots.txt-Dateien können Sie Richtlinien für alles auf Ihrer Website definieren, wie:
- Webseiten — HTML-, PDF- und XML-Dateien, die Sie nicht von Bots gecrawlt haben möchten
- Verzeichnisse und Unterverzeichnisse — Ganze Abschnitte Ihrer Website, die Crawler vermeiden sollen
- Mediendateien — Unbenutzte oder unwichtige Bilder, Videos oder Audiodateien
- Ressourcendateien — Skripte oder Style-Dateien, die keine wertvollen Informationen für Suchmaschinen bieten
Robots.txt-Syntax
Jede Gruppe beginnt mit einem oder mehreren User Agents, gefolgt von allen Regeln, die diese befolgen sollen. Alles ist Groß-/Kleinschreibung-sensitiv, achten Sie also darauf, Ihre Schreibweise doppelt zu prüfen.
Die folgende Gruppe würde Googles Bot, Googlebot, mitteilen, eine Seite namens „example-file.html“ nicht zu crawlen:
User-agent: Googlebot
Disallow: /example-file.html
Hier sind alle Direktiven, die Sie in einer robots.txt-Gruppe nutzen können:
- User-agent — Der/die Crawler, den/die die Gruppe anvisieren soll
- Disallow — Alles, das der User Agent nicht crawlen soll
- Allow — Alles, das der User Agent crawlen soll, sogar innerhalb eines verbotenen Verzeichnisses
- Sitemap — Ein Link zu einer Datei, die alle URLs einer Website aufführt
- Crawl-delay — Wie viele Sekunden der User Agent zwischen dem Crawlen von Dateien warten soll (obwohl die meisten Suchmaschinen, einschließlich Google und Yandex, diese Direktive ignorieren)
Hier ist ein Beispiel für eine robots.txt-Datei, die Regeln speziell für Googlebot und Bingbot erstellt:
User-agent: Googlebot
User-agent: Bingbot
Disallow: /no-crawl/
Allow: /no-crawl/except-this-one.html
Crawl-delay: 3
Sitemap: https://www.example.com/sitemap.xml
Diese robots.txt legt fest, dass Googlebot und Bingbot das Unterverzeichnis /no-crawl/ nicht crawlen sollen, mit Ausnahme einer bestimmten Datei, except-this-one.html, innerhalb dieses Verzeichnisses. Die Crawl-delay-Direktive legt eine 3-Sekunden-Pause zwischen jeder Anfrage fest, um eine Überlastung des Servers zu verhindern, und die Sitemap-Direktive liefert den Standort der Sitemap, was Suchmaschinen hilft, die Website-Struktur effizienter zu verstehen.

Unlock growth with SEO
Join Webflow and leading growth agency Graphite as they discuss actionable insights for scaling and achieving growth with SEO
So erstellen Sie eine robots.txt-Datei in 4 Schritten
Hier ist ein unkomplizierter Prozess zum Erstellen einer robots.txt-Datei und zum Hochladen auf Ihre Website.
1. Erstellen Sie eine neue TXT-Datei
Öffnen Sie einen einfachen Texteditor wie Notepad oder TextEdit. Nutzen Sie keine Textverarbeitung wie Microsoft Word, da diese Zeichen wie geschwungene Anführungszeichen nutzt, die Crawler nicht korrekt analysieren.
Erstellen Sie eine neue Datei, nennen Sie sie „robots“ und speichern Sie sie als TXT-Datei. Denken Sie daran, dass der Name Groß-/Kleinschreibung-sensitiv ist und in Kleinbuchstaben sein muss. Wenn möglich, wählen Sie UTF-8-Kodierung.
2. Schreiben Sie Regeln
Nutzen Sie den obigen Syntax-Leitfaden, um Regeln für die User Agents zu schreiben, die Sie beeinflussen möchten. Hier ist eine Liste der häufigsten User Agents:
- Google:
- Googlebot
- AdsBot-Google*
- AdsBot-Google-Mobile*
- GoogleOther
- Bing:
- Bingbot
- AdIdxBot
- Applebot
- YandexBot
- DuckDuckBot
- Baiduspider
- Facebot
- Slurp
* Diese beiden Web-Crawler ignorieren den Sternchen-(*)-User-Agent-Wert. Ihre TXT-Datei muss diese Agents explizit ansprechen.
3. Laden Sie die Datei hoch
Laden Sie Ihre robots.txt-Datei in das Root-Verzeichnis Ihrer Website hoch. Dieser Prozess hängt von Ihrer Webentwicklungsplattform ab.
Webflow erstellt automatisch eine robots.txt-Datei für Ihre Website, wenn Sie sie erstellen. Sie können dann Ihre robots.txt-Regeln und Sitemap zur Datei im Tab SEO unter Website-Einstellungen hinzufügen.
4. Testen Sie die Datei
Um zu prüfen, ob Ihre Datei live ist, navigieren Sie zu ihrer URL in einem Browserfenster.
Wenn Sie bereit sind zu testen, ob die Datei funktioniert, prüfen Sie verschiedene Suchmaschinen-Tools wie Google Search Console, die Protokolle für jedes Crawling Ihrer Website liefern. Überprüfen Sie diese Aufzeichnungen, um zu sehen, ob die Bots die von Ihnen ausgeschlossenen Seiten ignoriert haben.
Einschränkungen einer robots.txt-Datei
Ihre robots.txt-Datei gibt Ihnen etwas Kontrolle darüber, wie Bots die Website Ihres Unternehmens crawlen, doch sie hat einige Einschränkungen. Hier sind diejenigen, die Sie sich merken sollten, während Sie Regeln für Ihre Datei schreiben.
Nicht alle Crawler sind gut
Bösewichte erstellen Bots, die die robots.txt-Datei ignorieren, damit sie Ihre Website nach Daten durchsuchen oder nach Sicherheitsschwachstellen suchen können. Da diese „schlechten Bots“ dieselben Prozesse wie die guten nutzen, gibt es keine Möglichkeit, sie davon abzuhalten, Ihre Website zu durchsuchen, ohne die guten Crawler zu behindern.
Spezifische Bot-Regeln überschreiben allgemeine Regeln
Wenn Sie Regeln für bestimmte Bots haben, folgen sie diesen und ignorieren die allgemeinen. Das bedeutet, Sie müssen alle allgemeinen Regeln wiederholen, die auch für sie gelten sollen.
Bei den folgenden Gruppen in Ihrer robots.txt-Datei wird Bingbot zum Beispiel eine HTML-Datei namens „no-bing.html“ nicht crawlen, aber das Verzeichnis /no-crawl/ wird es crawlen.
User-agent: *
Disallow: /no-crawl/
User-agent: Bingbot
Disallow: /no-bing.html
Um das zu beheben, fügen Sie eine neue „Disallow“-Regel zur Bingbot-Gruppe hinzu, so:
User-agent: Bingbot
Disallow: /no-crawl/
Disallow: /no-bing.html
Robots.txt steuert das Crawling, nicht die Indexierung
Crawling ist der Prozess des Entdeckens und Verstehens von Webseiten, während Indexierung das Speichern und Organisieren dieses Contents umfasst, um ihn durchsuchbar zu machen.
Eine robots.txt-Datei verhindert, dass Suchmaschinen-Crawler bestimmte Seiten crawlen, doch sie beeinflusst nicht, ob sie diese indexieren. Glücklicherweise gibt es eine einfache Lösung: Um einen Web-Crawler daran zu hindern, Ihre Seite zu indexieren, nutzen Sie ein Noindex-Robots-Tag.
Selbst wenn Sie zum Beispiel eine Seite in Ihrer robots.txt-Datei blockieren, könnten Suchmaschinen diese Seite trotzdem in Ergebnissen zeigen. Doch diese Plattformen haben keine Beschreibung, kein Bild oder Content zum Anzeigen im Ergebnis – sie haben nur einen Titel basierend auf dem URL-Slug. Wenn Sie Noindex nutzen, um einen Web-Crawler daran zu hindern, eine Seite zu indexieren, weiß die Suchmaschine nicht einmal, dass der Content existiert, sodass er nicht in Suchergebnissen erscheint.
Erwähnenswert: Google kann das Noindex-Tag nur sehen, wenn Sie die robots.txt-Regel entfernen, damit es die Seite crawlen kann.
Verbotene Dateien können trotzdem gecrawlt werden, wenn extern referenziert
Suchmaschinen-Crawler prüfen die robots.txt-Datei nicht, wenn sie externen Links folgen. Wenn ein Bot eine andere Website crawlt, die zu einer Seite auf Ihrer Website verlinkt, entdeckt und crawlt er sie, selbst wenn Sie eine Disallow-Regel dafür festgelegt haben. Wie oben erwähnt, müssen Sie ein Noindex-Robots-Tag in den Metadaten der Seite platzieren, um das zu vermeiden.
Optimierung von robots.txt-Dateien mit Webflow
Eine gut abgestimmte robots.txt-Datei gibt Ihnen mehr Kontrolle darüber, wie Suchmaschinen-Bots Ihre Website crawlen, was Ihnen hilft, die Performance und das SEO Ihrer Website zu optimieren. Während die Datei selbst recht leichtgewichtig ist, steckt viel Planung in ihrer Erstellung, um sicherzustellen, dass Sie die richtigen Dateien ausschließen, konsistente Regeln erstellen und die richtigen User Agents identifizieren.
Mit Webflow können Sie eine robots.txt-Datei für Ihre Website erstellen und unsere integrierten SEO-Tools nutzen, um die Sichtbarkeit Ihrer Website in Suchmaschinen zu verwalten. Nutzen Sie diese Funktionen, um eine konsistente, weitreichende Web-Präsenz aufzubauen, die Traffic bringt.
Beginnen Sie noch heute mit Webflow, um von diesen Vorteilen zu profitieren.

Get started for free
Create custom, scalable websites — without writing code. Start building in Webflow.









