일반적인 URL, 인증, 크롤링 범위 및 성능 문제를 해결합니다.
애플리케이션 로그는 Knowledge Base 인덱서의 기본 진단 화면입니다. 크롤링 컨트롤과 함께 사용하여 잘못된 URL, 인증 실패, 과도한 크롤링 범위, 긴 처리 시간 및 높은 리소스 사용량을 식별할 수 있습니다.
로그를 검토하세요
로그에 표시되는 내용:
- 크롤링 중인 URL.
- 발견되고 처리된 페이지.
- 진행 상황 정보.
- 오류 및 경고.
- 완료 상태.
크롤링에서 오류가 보고되거나 예상대로 작동하지 않는 경우 먼저 로그를 검토하세요.
보호된 웹 사이트 인증 문제 해결
보호된 웹 사이트 콘텐츠에는 인증 URL이 필요할 수 있습니다.
- 인증 URL이 구성되어 있는지 확인하세요.
- Discovery 모드에서 크롤링을 실행하세요.
- 인증 오류 또는 경고에 대한 로그를 검토하세요.
공개 웹 사이트에는 인증 URL이 필요하지 않습니다.
보호된 웹 사이트 인증 문제 해결
보호된 웹 사이트 콘텐츠에는 인증 URL이 필요할 수 있습니다.
- 인증 URL이 구성되어 있는지 확인하세요.
- Discovery 모드에서 크롤링을 실행하세요.
- 인증 오류 또는 경고에 대한 로그를 검토하세요.
공개 웹 사이트에는 인증 URL이 필요하지 않습니다.
잘못된 URL 오류 해결
인덱서는 HTTPS URL만 허용합니다.
확인 사항:
- 각 URL이 https://로 시작하는지 확인하세요.
- 각 URL은 다른 줄에 나타납니다.
- URL이 로컬 네트워크 주소가 아닌지 확인하세요.
- URL이 루프백 주소가 아닌지 확인하세요.
- URL이 제한된 IP 주소를 사용하지 않는지 확인하세요.
로컬 네트워크 주소는 보안 조치로 차단됩니다. 잘못된 각 URL은 로그에서 오류를 생성합니다.
URL을 수정한 후 크롤링을 다시 시작하세요.
기술 자료 인증 문제 해결
업로드 모드에는 Acrobat의 기술 자료 인증이 필요합니다.
인증이 실패하는 경우:
- 기술 자료 자격 증명이 유효한지 확인하세요.
- Discovery 모드를 지우세요.
- 컬렉션 선택기 옆에 있는 새로 고침 아이콘을 선택합니다.
- 브라우저 창에서 인증 프로세스를 완료하세요.
작업 중 세션 토큰이 만료되면 인덱서에서 새로 고침을 시도합니다. 인증 토큰은 안전하게 처리되며 영구적으로 저장되지 않습니다.
로그아웃을 선택하여 현재 세션 토큰을 무효화하세요.
보호된 웹 사이트 인증 문제 해결
보호된 웹 사이트 콘텐츠에는 인증 URL이 필요할 수 있습니다.
- 인증 URL이 구성되어 있는지 확인하세요.
- Discovery 모드에서 크롤링을 실행하세요.
- 인증 오류나 경고에 대한 로그를 검토하세요.
공개 웹 사이트에는 인증 URL이 필요하지 않습니다.
대상 컬렉션이 나열되지 않음
컬렉션 목록에는 쓰기 액세스 권한이 있는 컬렉션만 포함됩니다.
- 업로드 모드를 활성화하려면 Discovery Mode를 해제하세요.
- 컬렉션 선택기 옆에 있는 새로 고침 아이콘을 선택합니다.
- 메시지가 표시되면 인증을 완료하세요.
- 대상 컬렉션에 대한 쓰기 액세스 권한이 있는지 확인하세요.
- 필요할 때 컬렉션 목록을 새로 고치세요.
크롤링에 너무 많은 페이지가 포함되어 있습니다
깊은 크롤링 설정으로 인해 색인화 프로그램이 의도한 것보다 더 많은 링크를 따라갈 수 있습니다.
크롤링 범위를 줄이려면:
- 크롤링 깊이를 낮추세요.
- 페이지 제한을 낮추세요.
- 전체 도메인 대신 특정 웹 사이트 섹션의 시작 URL을 사용하세요.
- Discovery Mode에서 수정된 구성을 테스트하세요.
크롤링 시간이 너무 오래 걸립니다
페이지 제한이 크거나 크롤링 깊이가 깊을수록 처리 시간이 늘어날 수 있습니다.
다음을 시도해 보세요.
- 페이지 제한을 줄이세요.
- 크롤링 깊이를 줄이세요.
- 더 작은 웹 사이트 섹션을 대상으로 설정하세요.
- 로그에서 진행 정보를 검토하세요.
컴퓨터가 너무 많은 리소스를 사용합니다.
워커 수가 많을수록 병렬 처리와 리소스 사용량이 증가합니다.
- 현재 작업을 종료하려면 멈춤을 선택하세요.
- 작업자 수를 낮춥니다.
- 크롤링을 다시 시작합니다.
기본 작업자 수는 4명입니다. 대부분의 시스템에 권장되는 범위는 프로세서 코어 수에 따라 4~8개입니다.
우수 사례
- 얕은 크롤링 깊이와 작은 페이지 제한으로 시작하세요.
- 콘텐츠를 업로드하기 전에 Discovery Mode에서 구성을 테스트하세요.
- 로그에서 경고와 오류를 검토하세요.
- 크롤링 범위가 너무 광범위할 때는 크롤링 깊이나 페이지 제한을 줄이세요.
- 리소스 사용량이 높을 때는 워커 수를 줄이세요.
- 짧은 시간 내에 동일한 웹 사이트를 과도하게 크롤링하지 마세요.
알아야 할 사항
- 멈춤을 선택하여 현재 작업을 종료하세요.
- 잘못된 URL은 로그에 오류를 생성합니다.
- 워커 수를 늘리면 처리 속도가 향상될 수 있지만 더 많은 시스템 리소스를 사용합니다.
- 페이지 제한이 클 경우 처리 시간이 연장될 수 있습니다.
- 크롤링 깊이가 깊으면 의도한 것보다 많은 페이지가 포함될 수 있습니다.
