Web サイトをクロール

最終更新日 : 2026年10月12日

web サイト クロールの開始ポイント、範囲、処理制限を定義します。

Knowledge Base インデクサー は 1 つ以上のターゲット URL から開始し、定義した設定に従ってリンクをたどります。最初にクロールを設定し、Discovery Mode を使用してコンテンツをアップロードせずにテストするか、Upload Mode を使用してインデックス作成されたコンテンツを Acrobat の Knowledge Base コレクションに追加します。

はじめる前に

  • Knowledge Base Indexer をインストールします。
  • コンピューターがインターネットに接続されていることを確認してください。
  • クロールする 1 つ以上の HTTPS URL を特定します。

Web サイトのクロールを設定

Knowledge Base Indexer を開きます。

ターゲット URL に、1 つ以上の開始 URL を入力します。

各 URL を 1 行ずつ入力します。URL は https:// で始まる必要があります。

クロール深度 を設定します。

クロール深度は、Knowledge Base Indexer が開始 URL からフォローするリンクのレベル数を決定します。

  • 1 の値は、開始 URL から直接リンクされたページを処理します。
  • 値が大きいほど、追加レベルのリンクをフォローします。

ページ制限を設定します。

ページ制限は、クロール中に処理されるページの最大数を制限します。

  • デフォルト:5
  • 最大:5,000

ワーカー数を設定します。

ワーカーは、並列でページを処理するクローラーの数を制御します。

  • デフォルト:4
  • ほとんどのシステムで推奨される値は、プロセッサーコア数に応じて 4~8 です。

Knowledge Base Indexer が保護されたコンテンツをクロールする前に認証が必要な場合は、認証 URL を入力します。

公開されている web サイトには認証 URL は必要ありません。

クロール設定の仕組み

ターゲット URL

クロールの開始場所を定義します。

1 行につき 1 つの HTTPS URL を入力します。

クロール深度

Knowledge Base Indexer がフォローするリンクのレベル数を決定します。

1 の値は、開始 URL から直接フォローしたページを処理します。

ページ制限

処理されるページの最大数を指定します。

デフォルト:5、最大:5,000。

ワーカー数

並行してページを処理するクローラーの数を制御します。

デフォルト:4、推奨:ほとんどのシステムで 4~8。

認証 URL

保護されたコンテンツをクロールする前にインデクサーが認証に使用できる URL を指定します。

公開されている web サイトではオプションです。

ベストプラクティス

  • 浅いクロール深度と小さなページ制限から始めます。
  • ドメイン全体ではなく、特定の web サイトセクションを対象にします。
  • コンピューターに十分なリソースがある場合にのみ、ワーカー数を増やします。
  • コンテンツをアップロードする前に、Discovery Mode で設定をテストします。

知っておくべきこと

  • HTTPS の URL のみサポートされています。
  • ローカルネットワークアドレスは、セキュリティ対策としてブロックされています。
  • ループバックアドレスと特定の制限された IP アドレスも却下されます。
  • 無効な URL は、クロールの実行時にログにエラーを生成します。
  • より高いクロール深度は、意図された以上のページを含む可能性があります。
  • ページ制限が大きいと処理時間が長くなる可能性があります。
  • ワーカー数を多くすると速度が向上しますが、システムリソースを多く使用します。
  • クロールの設定により、処理が開始したり、コンテンツがアップロードされたりしません。

次の手順

  • コンテンツをアップロードせずに設定したクロールをテストするには、[web サイトのコンテンツを見つける] を参照してください。
  • クロールを実行して、インデックス作成されたコンテンツをアップロードするには、[web サイトのコンテンツをコレクションにアップロード] を参照してください。