Die robots.txt ist eine kleine Textdatei auf deiner Seite, die Suchmaschinen sagt, wie sie mit deiner Seite umgehen sollen – welche Teile also z.B. indexiert werden sollen und welche nicht.
Standardmäßig hat jede Box bei uns eine systeminterne robots.txt. Demo Boxen unterscheiden sich jedoch von aktivierten Seiten.
Wichtig: Die Standard-Robots.txt findest du nicht im Dateisystem deiner Seite. Denn sie wird dynamisch generiert.
robots.txt bei einer Demo Box
Demo Boxen haben standardmäßig immer diese Einträge in der robots.txt:
User-agent: *
Disallow: /
Damit werden Demo Boxen vollständig von der Indexierung durch Suchmaschinen ausgenommen.
robots.txt bei einer aktivierten Box
Sobald du eine deiner Boxen aktiviert und mit einer Domain verbunden hast, ändert sich die robots.txt auf die folgenden Einträge:
User-agent: *
Disallow:
Dies sind die Standardeinträge für WordPress Seiten und sorgen u.a. dafür, dass deine Seite nun auch von Suchmaschinen gefunden werden kann.
Benutzerdefinierte robots.txt
Sobald du eine benutzerdefinierte robots.txt hochlädst, ersetzt diese die Standarddatei. Wenn du eine eigene robots.txt hochladen möchtest, lege diese einfach direkt im Ordner wordpress in deinem Dateisystem ab.
Um eine benutzerdefinierte robots.txt zu erstellen, kannst du entweder ein Programm wie TextEdit auf dem Mac oder Notepad auf PCs nutzen oder du verwendest die entsprechende Funktion deines SEO Plugins.
Eine benutzerdefinierte robots.txt kann z.B. so aussehen:
User-Agent: *
Disallow: /meineunterseite
Disallow: /meineunterseite2