Falls Dein Projekt nicht komplett gecrawlt werden konnte, sieh Dir die Projekt Einstellung -> Projekt Setup an, um die mögliche Ursache herauszufinden:
In diesem Beispiel sieht man, dass einige URLs ignoriert wurden. Dies kann an den aktuellen Crawl-Einstellungen liegen.
Zum Beispiel, mit der Option robots.txt befolgen werden alle "disallowed" URLs ignoriert. Falls Subdomains deaktiviert sind, werden entsprechend diese URLs ignoriert. Bitte überprüfe ebenfalls die Whitelist/Blacklist und die Unterverzeichnis Einstellungen.