抓取網站

上次更新時間 2026年10月12日

定義網站抓取的起始點、範圍和處理限制。

「Knowledge Base 索引器」從一或多個目標 URL 開始,並根據您定義的設定追隨連結。先設定抓取,然後使用「探索模式」進行測試而不上傳內容,或使用上傳模式將索引內容新增到 Acrobat 中 Knowledge Base 的集合。

開始之前

  • 安裝「Knowledge Base 索引器」。
  • 確保電腦有網際網路連線。
  • 識別一個或多個要抓取的 HTTPS URL。

設定網站抓取

開啟「Knowledge Base 索引器」。

在「目標 URL」中,輸入一個或多個起始 URL。

在不同行輸入每一個 URL。URL 必須以 https:// 開頭。

設定「抓取深度」。

抓取深度決定索引器從起始 URL 開始跟隨多少層連結。

  • 1 的值會處理從起始 URL 直接連結的頁面。
  • 較高的值會追隨更多層級的連結。

設定「頁面限制」。

頁面限制會限制抓取期間最多可處理的頁面數。

  • 預設:5
  • 上限:5,000

設定「工作執行個體數量」。

工作執行個體可控制並行處理頁面的爬蟲程式數量。

  • 預設:4
  • 大部分系統的推薦值:4 至 8,取決於處理器核心數量。

當索引器必須先驗證才能抓取受保護內容時,請輸入「驗證 URL」。

公共網站不需要此值。

抓取設定的運作方式

目標 URL

定義抓取開始的位置。

每行輸入一個 HTTPS URL。

抓取深度

決定索引器追蹤連結的層數。

值 1 會直接從起始 URL 追隨連結。

頁面限制

限制處理的頁面數量上限。

預設:5;上限:5,000。

工作執行個體數量

控制有多少爬蟲程式同時處理頁面。

預設:4;建議:大部分系統 4–8。

驗證 URL

提供索引器在抓取受保護內容前可用於驗證的 URL。

公開網站可選用。

最佳做法

  • 從較淺的抓取深度和較小的頁面限制開始。
  • 鎖定特定網站區段,而非整個網域。
  • 只有在電腦具備足夠資源時,才增加工作執行個體數量。
  • 在上傳內容前,先在探索模式中測試已設定的抓取。

注意事項

  • 僅支援 HTTPS URL。
  • 基於安全考量,本機網路位址會遭到封鎖。
  • 回送位址和某些受限的 IP 位址也會遭到拒絕。
  • 無效的 URL 在執行抓取時會在記錄中產生錯誤。
  • 較高的抓取深度可能包含超出預期的頁面。
  • 較大的頁面限制可能會增加處理時間。
  • 較高的工作執行個體計數可以提高速度,但會使用更多系統資源。
  • 設定抓取不會開始處理或上傳內容。

後續步驟

  • 若要在不上傳內容的情況下測試已設定的抓取,請參閱「探索網站內容」。
  • 若要執行抓取並上傳索引內容,請參閱「將網站內容上傳至集合」。