Octoparseでは現在、ローカルおよびクラウドの抽出タスクの両方に対して、通常モードと高速モードを提供しています。
高速モードと通常モードとは何ですか?
高速モード
高速モードでは、通常モードと比べてタスクの実行速度が大幅に向上します。
タスクは複数のサブタスクに分割され、同時並行で実行されるためです。
ローカル抽出においては、タスクの設定内容にもよりますが、通常モードの約3倍の速度で実行されます(3つのサブタスクに分割して実行されます)。
クラウド抽出では、保有しているサーバー数に応じて、通常モードの約4倍から最大40倍以上の速度で実行可能です。サーバー数が多いほど、より高速に処理されます。
通常モード
タスクは分割されませんので、スクレイピング速度は限定されます。
注意:
1.ダッシュボードからタスクを実行するか、クラウドでタスクをスケジュールすると、それらは分割可能な場合には高速モードで実行されます。
2.ローカル高速モードはアカウント設定でデフォルトオプションとして設定できます。設定後、すべてのローカル実行(手動で開始した実行またはスケジュールされた実行)は、分割可能な場合にはブーストモードで実行されます。
3.Octoparseは、クラウド内でより高速な抽出を達成するために、タスクの作業を小さな部分に分割するためにサブタスクを使用します。しかし、ターゲットのウェブサイトが一度に1つのログインしか許可しない場合、同じタスクに取り組む複数のサーバーがすべてのタスクに悪影響を及ぼす可能性があるため、タスクの分割を無効にすることを検討してください。URLが手動で入力されたときにのみ、タスク分割を無効にすることができることに注意してください。
高速モードを使用できるタスクとは?
タスクには、「分割可能なタスク」と「分割できないタスク」があります。
分割可能なタスクとは、URLリストやテキストリストを用いたループ処理が設定されているタスクを指します。
例えば、以下のようなURLリストベースのタスクが該当します。
このようなタスクは、複数のサブタスクに分割して同時に実行できるため、抽出速度を大幅に向上させることが可能です。
Octoparseには5種類のループモードがありますが、分割可能なのは3種類だけです。
URLリスト
テキストリスト
固定リスト
要するに、タスクにはループアイテムが含まれている必要があり、ループアイテムのループモードはURLリスト、テキストリスト、または固定リストであるべきです。
なぜ高速モードのオプションが表示されないのですか?
一部のタスクは、タスクが分割できないため、ブーストモードオプションを実行することができません。これは、タスクにURLリスト、テキストリスト、または固定リストのループアイテムがないという意味です。この場合、Octoparseはデフォルトで標準モードのみでタスクを実行します。
ローカル実行における高速モードの制限
Octoparseでは、ご契約のプランに応じて、高速モードにおける同時ローカル実行可能なタスク数が異なります。
なお、フリープランのユーザーも、ローカル抽出のパフォーマンスを向上させる目的で、高速モードを利用することが可能です。
下記の表をご確認いただくことで、各プランにおける同時ローカル高速モード実行タスク数をご確認いただけます。
フリープランのユーザーは、高速モードを最大3回まで使用することができます(テスト目的)。
「1回の実行」は1カウントとされ、同一のタスクを3回実行することも、異なる3つのタスクを1回ずつ実行することも可能です。
一方で、スタンダードプラン以上のユーザーには、高速モードの使用回数の制限はありません。
ただし、プランごとに定められた同時実行タスク数の上限を超えないようご注意ください。
プラン | フリー | ベーシック | スタンダード | プロフェッショナル | ENT |
ローカル | 3 タスク | 5タスク | 2 タスク | 5 タスク | 10 タスク |
ご不明な点がございましたら、どうぞご遠慮なくお問い合わせください。