Falls der Crawler nach einer längeren Zeit keine URLs finden kann, gibt es die Möglichkeit den User-Agent zu ändern, dies kann in manchen Fällen helfen.

Um zu überprüfen, ob der laufende Crawl URLs finden konnte öffne oben rechts in Deinem Dashboard die Projekt Einstellungen -> Frühere Analysen

Sollten nach einer längeren Zeit keine URLs gefunden werden, kannst Du den Crawl abbrechen und es unter Erweiterte Analyse > Wie analysiert wird > Analyse User-Agent mit einem anderem User-Agent versuchen:

Der User-Agent bestimmt den Namen des Crawlers. Du kannst zwischen dem RyteBot oder dem Googlebot als User-Agent auswählen, wobei der RyteBot der Standard User-Agent ist. Wenn Du aber sicherstellen willst, dass ausschließlich unsere Dienste gewhitelisted oder getracked werden, kannst Du dem Crawler einen individuellen Namen geben (z.B.:crawler123abc)

Diese Einstellungen sind nur in den Accounts Basic und höher möglich!