Die meisten gängigen E-Commerce-Lösungen kennen URLs mit Parametern und wissen, dass diese URLs für die Crawler von Suchmaschinen und für Benutzer nicht essenziell sind.

Idealerweise unterstützt Deine E-Commerce-Lösung eine Option zum Hinzufügen von Regeln in der robots.txt-Datei Deiner Website. In der robots.txt werden Regeln für User-Agents (Crawler verwenden User-Agents) festgelegt und das Crawlen bestimmter URLs oder Ordner erlaubt oder verwehrt.

Wenn Du bereits eine voll funktionsfähige robots.txt hast, kannst Du auf "Projekteinstellungen" in der oberen rechten Ecke Deines Dashboards klicken und im Reiter "Erweiterte Analyse" "robots.txt Handhabung" auswählen. Nun kannst Du wählen, ob Du alles auf Deiner Domain crawlen oder gemäß der robots.txt auf Deinem Server crawlen willst.