Deine robots.txt kann auf Deiner Root Domain gefunden werden. Gehe dafür auf www.DEINEDOMAIN.com/robots.txt. Beispielhaft siehst du hier mal, wie unsere robots.txt aufbebaut ist:

Viele Website-Management-Systeme wie WordPress generieren eine solche automatisch für Dich und erlauben es, sie in Deinem Backend zu verändern.

Wenn Du mehr über die robots.txt erfahren möchtest, wirf mal einen Blick in unsere >XXL-Anleitung: Was Du über die robots.txt wissen solltest<