Lo scorrimento infinito viene spesso utilizzato dai siti web con JavaScript o AJAX per caricare contenuti aggiuntivi in modo dinamico mentre gli utenti scorrono fino alla fine della pagina web.
Di solito, quando trascini la barra laterale direttamente verso il basso, puoi vedere il segno di caricamento in corso e il nuovo contenuto verrà aggiunto alla pagina molto presto:
Allo stesso modo in cui scorri manualmente la pagina verso il basso, Octoparse farà lo stesso con le impostazioni corrette. Tutto quello che devi fare è dire a Octoparse quale pagina scorrere, quante volte scorrere e l'intervallo di tempo tra ogni due scorrimenti.
Questo tutorial ti presenterà come gestire lo scorrimento infinito in Octoparse.
Per seguirlo, potresti voler utilizzare l'URL sotto:
Nota: questo tutorial serve per scorrere l'intera pagina. Se hai bisogno di scorrere solo un'area designata della pagina, controlla l'articolo Scorrimento all'interno dell'area designata di una pagina web
1) Utilizzare l'algoritmo di rilevamento automatico
Seleziona Auto-detect web page data (rileva automaticamente i dati della pagina web) nel pannello dei suggerimenti.
Modificare le impostazioni di scorrimento
Fare clic su Modifica in Add a page scroll (aggiungi uno scorrimento della pagina) e impostare la modalità di scorrimento, il numero di volte di ripetizione e il tempo di attesa. Quindi fare clic su Conferma per salvare le impostazioni.
Note:
1. Scroll to the bottom of the page: Octoparse scorrerà direttamente verso il basso senza fermarsi al centro della pagina. Sarebbe utile se considerassi l'utilizzo di questa opzione quando la pagina carica gli elementi solo quando raggiungi il fondo.
2. Scroll for one screen: Octoparse scorrerà solo per una schermata ogni volta. Prendi in considerazione l'utilizzo di questa opzione se la pagina carica il contenuto mentre scorri continuamente la pagina verso il basso.
(Lo scorrimento di una schermata può essere utilizzato per tutti i siti web, mentre lo scorrimento fino alla fine della pagina potrebbe non funzionare per alcuni siti web specifici.）
3. Inserisci un numero per Repeats (ripete) che corrisponde al numero di volte in cui desideri ripetere lo scorrimento verso il basso (ovvero il numero di scorrimenti). Potresti voler scorrere manualmente la pagina Web di destinazione in anticipo per scoprire quanti scorrimenti sarebbero necessari per caricare tutte le informazioni richieste.
4. Selezionare un tempo di attesa adeguato tra ciascuno dei due scorrimenti. Potresti voler scegliere un tempo di attesa più lungo per le pagine che impiegano più tempo a caricarsi.
Creare il flusso di lavoro utilizzando le impostazioni
Si può ottenere un flusso di lavoro mostrato nell'immagine sotto:
Cliccare Scroll Page (scorrimento della pagina) per controllare o modificare le impostazioni dello scorrimento
Nota: assicurati di impostare le volte di scorrimento verso il basso sufficienti e intervalli corretti tra due scorrimenti.
Controllare se l'elemento del loop riesce a individuare correttamente tutti gli elementi
Puoi andare alle impostazioni del Loop Item per vedere se tutti gli elementi sono posizionati. Assicurati che la modalità Loop sia Elenco variabili con l'XPath corretto.
2) Impostare manualmente lo scorrimento infinito
È possibile impostare lo scorrimento nel passaggio Go to Web Page o Click Item, oppure si può aggiungere un nuovo Loop item da scorrere verso il basso.
Fare clic sull'elemento e fare clic su Seleziona tutto, quindi fare clic su Ciclo e fare clic su ciascun URL.
Il loop item creato farà clic sull'URL di ciascun prodotto per ottenere i dati.
Attivare lo scorrimento verso il basso nel passaggio Go to Web page (aggiungi uno scorrimento combinandolo con Go to Webpage/Click Item)
- Fare clic su Go to Web page.
- Spuntare la casella Scroll down the page after it is loaded nelle Opzioni.
In alternativa, puoi disporre lo scorrimento con un Loop Item (come passaggio separato)
- Aggiungere un loop item al flusso di lavoro e impostare la modalità di loop come Scroll Page (scorri la pagina).
Inoltre, assicurati che il Loop Item individui gli elementi giusti con Variable List.
Cliccare su Loop item e scegliere la modalità di loop come Variable List.
Inserire l'XPath corrispondente:
//div[contains(@class,'product-grid-item')]/div/a
Nota: Scopri di più negli articoli di Scorrimento di pagina e Elementi in ciclo.