Bei der robots.txt Datei handelt es sich um eine Textdatei, in der festgelegt werden kann, welche Bereiche einer Domain von einer Suchmaschine gecrawlt werden dürfen und welche nicht. Mit der robots.txt können einzelne Dateien in einem Verzeichnis, komplette Verzeichnisse oder ganzen Domains vom Crawling ausgeschlossen werden.
Die robots.txt-Datei wird im Root der Domain hinterlegt. Sie ist das erste Dokument, das ein Bot abruft, wenn er eine Webseite besucht. Zusätzlich gibt die robots.txt einen Verweis wo die sitemap(s) deiner Domain(s) zu finden sind.
Aus diesen Gründen ist die robots.txt eine sehr bedeutende Datei und hat eine große Relevanz für SEO. Es gibt zwei Möglichkeiten wo die robots.txt Instruktionen gefunden werden können:
Sie kann auf www.DEINEDOMAIN.com/robots.txt
robots Instruktionen in deinen meta tags jeder HTML Seite
Bitte analysiere beide Bereiche und schaue, ob diese auf „index“ oder „noindex“ gesetzt wurden und ob dies so gewollt ist.
Hier sind ein paar generelle Informationen über dieses Thema: https://de.ryte.com/wiki/Robots.txt
Wenn Du mehr über die robots.txt erfahren möchtest, wirf mal einen Blick in unsere >XXL-Anleitung: Was Du über die robots.txt wissen solltest<