Übersicht
Du kannst festlegen, welche Unterseiten Ryte überprüfen soll und welche vom Crawling ausgeschlossen werden sollen. Das ist hilfreich, wenn Du z. B. nur ein bestimmtes länderspezifisches Verzeichnis crawlen willst.
In den "Projekteinstellungen" kannst Du URLs ein- oder ausschließen. Klicke im Projekt-Dashboard in der oberen rechten Ecke und auf das Zahnradsymbol im Dropdown-Menü. Jetzt befindest Du Dich in den Projekteinstellungen.
Klicke auf "Erweiterte Analyse". Dort ist die Option URLs ignorieren/einschließen aufgeführt:
URLs ausschließen (Blacklist)
Du kannst URLs von Deinem Crawl ausschließen, indem Du Blacklist-Regeln hinzufügst. In diesem Beispiel wollen wir das Magazin und unser Wiki ausschließen. Das erreichen wir, indem wir die "Unterordner" blacklisten. Die Regeln sollten wie folgt aussehen:
Diese Regel schließt alle URLs aus, deren Pfad mit /wiki/ oder /magazin/ beginnt.
URLs einschließen (Whitelist):
Die Whitelist hat die gleichen Funktionen wie die Blacklist, funktioniert aber in umgekehrter Richtung. Wenn Du Regeln durch "nur einbeziehen" anwenden musst, kannst Du unsere Whitelist-Funktion verwenden.
In diesem Beispiel wollen wir NUR unser Magazin und Wiki crawlen. Das erkennen wir, indem wir jeden "Unterordner" auf die Whitelist setzen:
Diese Regel schließt nur URLs ein, deren Pfad mit /wiki/ oder /magazin/ beginnt.
Du kannst jede Regel in beliebiger Tiefe anwenden, wenn Du möchtest, dass z.B. bestimmte Seiten ausgeschlossen werden sollen:
Du kannst so viele Regeln hinzufügen, wie Du möchtest.
Wichtig: Wenn Du nur einen bestimmten Unterordner crawlen willst, musst Du das nicht über Include-URLs machen. In diesem Fall kannst Du einfach die Option "Unterverzeichnis analysieren" in den Projekteinstellungen verwenden.
