解決常見的 URL、驗證、抓取範圍和效能問題。
應用程式記錄是 知識庫索引器 中的主要診斷介面。將記錄與抓取控制搭配使用,以識別無效的 URL、驗證失敗、過度的抓取範圍、冗長的處理時間和高資源使用量。
審閱記錄
記錄會顯示:
- 正在抓取的 URL。
- 發現和處理的頁面。
- 進度資訊。
- 錯誤和警告。
- 完成狀態。
當抓取報告錯誤或行為不如預期時,請先審閱記錄。
解決受保護網站驗證問題
受保護的網站內容可能需要驗證 URL。
- 確認已設定驗證 URL。
- 在探索模式中執行抓取。
- 審閱記錄以查看驗證錯誤或警告。
公開網站不需要驗證 URL。
解決受保護網站驗證問題
受保護的網站內容可能需要驗證 URL。
- 確認已設定驗證 URL。
- 在探索模式中執行抓取。
- 審閱記錄以查看驗證錯誤或警告。
公開網站不需要驗證 URL。
解決無效的 URL 錯誤
索引器僅接受 HTTPS URL。
檢查:
- 每個 URL 都以 https:// 開頭。
- 每個 URL 都顯示在單獨的行上。
- URL 不是本機網路位址。
- URL 不是回送位址。
- URL 不使用受限制的 IP 位址。
基於安全考量,本機網路位址會被封鎖。每個無效的 URL 都會在記錄中產生錯誤。
更正 URL,然後重新開始抓取。
解決知識庫驗證問題
上傳模式需要對 Acrobat 中的知識庫進行驗證。
如果驗證失敗:
- 確認您的知識庫認證有效。
- 清除探索模式。
- 選取集合選擇器旁的重新整理圖示。
- 在瀏覽器視窗中完成驗證程序。
如果工作階段權杖在操作期間到期,索引器會嘗試重新整理。驗證權杖的處理安全無虞,不會永久儲存。
選取「登出」以使目前的工作階段權杖失效。
解決受保護網站驗證問題
受保護的網站內容可能需要驗證 URL。
- 確認已設定驗證 URL。
- 在探索模式中執行抓取。
- 審閱記錄中是否有驗證錯誤或警告。
公用網站不需要驗證 URL。
未列出目標集合
集合清單僅包含您具有寫入存取權的集合。
- 清除探索模式以啟用上傳模式。
- 選取集合選擇器旁的重新整理圖示。
- 出現提示時完成驗證。
- 確認您對目標集合具有寫入存取權。
- 必要時重新整理收集清單。
抓取包含太多頁面
深度抓取設定可能會導致索引器追蹤超出預期的更多連結。
若要縮小抓取範圍:
- 降低抓取深度。
- 降低頁面限制。
- 使用特定網站區段的起始 URL,而非整個網域。
- 在探索模式中測試修訂後的配置。
抓取時間太長
較大的頁面上限和較深的抓取深度會增加處理時間。
請嘗試下列方法:
- 減少頁面限制。
- 減少抓取深度。
- 鎖定較小的網站區段。
- 審閱記錄中的進度資訊。
電腦使用太多資源
較高的工作執行個體計數,會增加並行處理和資源使用。
- 選取停止以結束目前的操作。
- 降低工作執行個體數量。
- 重新開始抓取。
預設的工作執行個體計數為 4。大多數系統的建議範圍為 4 至 8,視處理器核心數量而定。
最佳做法
- 請從較淺的抓取深度和較小的頁面限制開始。
- 在 Discovery 模式中測試配置,然後再上傳內容。
- 審閱記錄中的警告和錯誤。
- 當抓取範圍太廣時,請減少抓取深度或頁面限制。
- 當資源使用量很高時,請減少工作執行個體數量。
- 避免在短時間內過度抓取同一個網站。
注意事項
- 選取「停止」以結束目前的操作。
- 無效的 URL 會在記錄中產生錯誤。
- 較高的工作執行個體計數可以提高處理速度,但會使用更多系統資源。
- 較大的頁面上限可能會延長處理時間。
- 較深的抓取深度可能會包含超出預期的頁面數量。