以下の問題に遭遇した場合、OctoparseでIP プロキシを手動で設定してみることをおすすめします:
・企業や機関がイントラネットを使用し、外部リクエストを制限しているため、Octoparseにログインできない
・対象のウェブサイトがウェブスクレイピングに非常に敏感であり、IPブロッキングなどの防スクレイピング戦略を実施しているため、スクレイピング活動を停止するための措置を講じている
このチュートリアルでは、上記で述べた問題を解決するために、プロキシを設定する方法を説明します。
プロキシを使用してOctoparseにログインする
接続が正常かどうかをテストし、設定を保存することができます。
IPブロック対策として外部プロキシサーバーのローテーションを設定する
Octoparse クラウドのIPはデータセンターのIPであり、ブロックされる可能性があります。ウェブサイトがお持ちの端末のIPまたはOctoparseクラウドをブロックした場合、タスク設定でIPプロキシを設定することができます。独自のIPプロキシを使用するか、Octoparseの内蔵プロキシを使用することができます。
Octoparse内蔵のプロキシの設定方法
プロキシを設定したいタスクを開きます。
タスク設定に移動します。
プロキシサーバの利用にチェックを入れます。
プレミアムプロキシサーバをクリックします。
ミックスまたは希望する国または地域のIPアドレスを選択します(ミックスはランダムな国のIPを使用することを意味します)。
切り替え間隔の時間を選択します。
インターフェースの右下隅にある保存ボタンをクリックして設定を保存します。
注意事項
プロキシには1Gあたり3ドルの費用がかかります。この機能を使用するには、十分なプロキシ残高またはアカウント残高が必要です。IPプロキシを有効にするには、アカウント残高に少なくとも3ドルが必要です。ページに表示されるアカウント残高はプロキシの購入に使用できます。[チャージ 残高反映]ボタンをクリックして簡単に残高を追加できます。
プロキシはすべてのウェブページで動作しない場合があります。テストを行うために最初に3ドルの残高を追加することもできます。
プロキシ残高は返金されません。
独自のIPプロキシを使用する方法
IPプロキシを設定する別の方法は、自分のIPをOctoparseにアクセスすることです。独自のIPプロキシは、ローカル実行でのみ適用されます。
Octoparseは匿名プロキシのみをサポートしております(ユーザーはプロキシサーバーに直接接続でき、ユーザー名やパスワードの提供は不要です)。アカウントとパスワードでログインが必要なプロキシはサポートしておりません。
プロキシサーバーのIPアドレスとポート番号はコロンで区切って入力してください。
58.22.214.29:2318