抓取网站

上次更新日期: 2026年10月12日

确定网站抓取的起始点、范围和处理限制。

知识库索引器从一个或多个目标 URL 开始,并根据您定义的设置跟踪链接。先配置抓取任务,再使用发现模式进行测试(无需上传内容),或者使用“上传模式”将已建立索引的内容添加到 Acrobat 知识库收藏集。

准备事项

  • 安装 Knowledge Base Indexer。
  • 确保计算机具有互联网连接。
  • 确定一个或多个要抓取的 HTTPS URL。

配置网站抓取

打开 Knowledge Base Indexer。

在目标 URL中,输入一个或多个起始 URL。

每行输入一个 URL。URL 必须以 https:// 开头。

设置抓取深度。

抓取深度确定索引器从起始 URL 跟随链接的层级数。

  • 值为 1 时处理从起始 URL 直接链接的页面。
  • 更高的值会跟随更多层级的链接。

设置页面限制。

页面限制会限制抓取过程中处理的最大页面数。

  • 默认值:5
  • 最大值:5,000

设置工作线程数量。

工作进程控制有多少个爬虫并行处理页面。

  • 默认值:4
  • 大多数系统的推荐取值:4-8,具体取决于处理器内核数量。

当索引器必须在抓取受保护内容之前进行身份验证时,请输入身份验证 URL。

公开网站无需设置该值。

抓取设置工作原理

目标 URL

定义抓取开始的位置。

每行输入一个 HTTPS URL。

抓取深度

确定索引器跟踪链接的层级数。

值为 1 表示直接跟踪来自起始 URL 的链接。

页面限制

限制处理页面的最大数量。

默认值:5;最大值:5,000。

工作线程数量

控制有多少个抓取器并行处理页面。

默认值:4;大多数系统的推荐取值:4-8。

身份验证 URL

提供 URL,索引器可在抓取受保护内容之前使用该 URL 进行身份验证。

对于公共网站为可选项。

最佳实践

  • 从较浅的抓取深度和较小的页面限制开始。
  • 定位特定网站分区,而非整个域名。
  • 仅当计算机拥有足够资源时,才增加工作线程数量。
  • 在上载内容之前,在发现模式下测试配置的抓取。

需要了解的事项

  • 仅支持 HTTPS URL。
  • 出于安全考虑,系统会阻止本地网络地址。
  • 环回地址和某些受限 IP 地址也会被拒绝。
  • 抓取运行时,无效 URL 会在日志中产生错误。
  • 较高的抓取深度可能会包含超出预期的更多页面。
  • 较大的页面限制可能会增加处理时间。
  • 较高的工作线程数量可以提高速度,但会使用更多系统资源。
  • 配置抓取并不会启动处理流程或上传内容。

后续步骤

  • 要在不上载内容的情况下测试配置的抓取,请参阅[发现网站内容]。
  • 要运行抓取并上载索引内容,请参阅[将网站内容上载到集合]。