Knowledge Base 색인기를 여세요.
마지막 업데이트 날짜
2026년 10월 12일
웹 사이트 크롤링의 시작점, 범위, 처리 제한을 정의합니다.
기술 자료 인덱서는 하나 이상의 대상 URL에서 시작하여 정의한 설정에 따라 링크를 따라갑니다. 먼저 크롤링을 구성한 다음 Discovery 모드를 사용하여 콘텐츠 업로드 없이 테스트하거나 업로드 모드를 사용하여 색인화된 콘텐츠를 Acrobat의 Knowledge Base 컬렉션에 추가합니다.
시작하기 전에
- 기술 자료 인덱서를 설치합니다.
- 컴퓨터에 인터넷 연결이 되어 있는지 확인합니다.
- 크롤링할 하나 이상의 HTTPS URL을 식별합니다.
웹 사이트 크롤링 구성
대상 URL에 시작 URL을 하나 이상 입력합니다.
각 URL을 별도의 줄에 입력합니다. URL은 https://로 시작해야 합니다.
크롤링 깊이를 설정합니다.
크롤링 깊이는 색인화 도구가 시작 URL에서 팔로우하는 링크의 레벨 수를 결정합니다.
- 1 값은 시작 URL에서 직접 링크된 페이지를 처리합니다.
- 높은 값은 추가 링크 레벨을 팔로우합니다.
페이지 제한을 설정합니다.
페이지 제한은 크롤링 중 처리되는 최대 페이지 수를 제한합니다.
- 기본값: 5
- 최대: 5,000
작업자 수를 설정합니다.
작업자가 병렬로 페이지를 처리하는 크롤러의 수를 제어합니다.
- 기본값: 4
- 대부분의 시스템에 권장: 프로세서 코어 수에 따라 4~8개입니다.
색인화 도구가 보호된 콘텐츠를 크롤링하기 전에 인증해야 하는 경우 인증 URL을 입력합니다.
공개 웹 사이트는 이 값이 필요하지 않습니다.
크롤링 설정 작동 방식
대상 URL |
크롤링이 시작되는 위치를 정의합니다. |
한 줄에 하나의 HTTPS URL을 입력합니다. |
크롤링 깊이 |
인덱서가 따라가는 링크의 단계 수를 결정합니다. |
1 값은 시작 URL에서 직접 링크를 따라갑니다. |
페이지 제한 |
처리되는 페이지의 최대 수를 제한합니다. |
기본값: 5; 최댓값: 5,000. |
작업자 수 |
페이지를 병렬로 처리하는 크롤러 수를 제어합니다. |
기본값: 4; 권장값: 대부분의 시스템에서 4–8. |
인증 URL |
색인화 프로그램이 보호된 콘텐츠를 크롤링하기 전에 인증을 위해 사용할 수 있는 URL을 제공합니다. |
공개 웹 사이트의 경우 선택 사항입니다. |
우수 사례
- 얕은 크롤링 깊이와 적은 페이지 제한으로 시작하세요.
- 전체 도메인 대신 특정 웹 사이트 섹션을 목표로 하세요.
- 컴퓨터에 충분한 리소스가 있는 경우에만 작업자 수를 늘리세요.
- 콘텐츠를 업로드하기 전에 검색 모드에서 구성된 크롤링을 테스트하세요.
알아야 할 사항
- HTTPS URL만 지원됩니다.
- 로컬 네트워크 주소는 보안 조치로 차단됩니다.
- 루프백 주소와 특정 제한된 IP 주소도 거부됩니다.
- 잘못된 URL은 크롤링이 실행될 때 로그에서 오류를 생성합니다.
- 더 높은 크롤링 깊이는 의도한 것보다 더 많은 페이지를 포함할 수 있습니다.
- 페이지 제한을 크게 설정하면 처리 시간이 늘어날 수 있습니다.
- 작업자 수를 늘리면 속도가 향상될 수 있지만 더 많은 시스템 리소스를 사용합니다.
- 크롤링을 구성해도 처리나 콘텐츠 업로드가 시작되지 않습니다.
다음 단계
- 콘텐츠를 업로드하지 않고 구성된 크롤링을 테스트하려면 [웹 사이트 콘텐츠 검색]을 참조하세요.
- 크롤링을 실행하고 색인화된 콘텐츠를 업로드하려면 [컬렉션에 웹 사이트 콘텐츠 업로드]를 참조하세요.
