Откройте Атрибуты.
Протестируйте атрибут на реальных документах, прежде чем использовать его для более широкого набора документов.
Тестирование помогает выявить противоречивые результаты, неожиданные совпадения и пропущенные значения. Используйте полученные результаты для уточнения определения атрибута и примеров, прежде чем применять этот атрибут в более широком масштабе.
Перед началом работы
Убедитесь, что:
- Вы можете просматривать и редактировать атрибуты.
- Атрибут уже существует.
- У вас есть доступ к документам, которые предположительно содержат значение.
- Вы выбираете не более 10 документов для каждого теста.
Тестирование атрибута
Выберите атрибут для тестирования.
Определение атрибута откроется автоматически.
Выберите Тест.
Выберите два или более документов для тестирования, максимум 10.
- Все файлы — выбор по умолчанию в качестве исходного списка.
- Используйте селектор коллекции для сужения списка до определенной коллекции.
Выберите не более 10 файлов и нажмите Добавить файлы.
Analyzer выполняет извлечение и отображает результаты оценки.
Просмотр результатов тестирования
Таблица результатов показывает каждый выбранный документ, имеющий:
- {Attribute name} — извлеченное значение.
- Контент атрибуции — исходный контент, подтверждающий результат.
- Объяснение — предположения и условия, которые Analyzer использовал для определения значения.
- Отзыв пользователя — отзыв, который вы предоставили во время оценки.
Наведите курсор на файл и выберите Просмотреть, чтобы изучить все извлеченные результаты.
Просмотр результата в контексте
Выберите Просмотреть, чтобы изучить результат в сравнении с исходным документом.
Представление просмотра показывает:
- Исходный документ с выделенным извлеченным местоположением.
- Полное извлеченное значение.
- Контент атрибуции.
- Объяснение.
- Элементы управления обратной связью для обозначения правильного или неправильного результата.
Используйте элементы управления навигацией рядом с названием документа для перемещения по выбранным тестовым документам.
Файлы Excel и CSV
Файлы Excel и CSV нельзя предварительно просмотреть напрямую в Analyzer.
При тестировании с использованием этих типов файлов загрузите извлеченные результаты и данные об атрибуции, чтобы сравнить их с исходным файлом.
Отправка отзыва
Отметьте каждый результат как верный или неверный.
Если вы помечаете значение как неверное, приведите примеры, поясняющие, что именно Analyzer должен включать или исключать.
Используйте примеры, которые:
- Являются конкретными.
- Взяты непосредственно из типичного исходного контента.
- Сосредоточены на шаблоне, который Analyzer должен распознавать или, наоборот, игнорировать.
Analyzer добавляет предоставленные вами примеры для включения или исключения в раздел Дополнительные параметры в определении атрибута.
Уточнение атрибута и повторное тестирование
Ознакомьтесь с отзывами и примерами, добавленными в процессе тестирования.
Если примеры точно описывают ожидаемый результат, выберите Повторное тестирование, чтобы оценить обновленное определение на тех же документах.
Если вы пометили результаты как верные или неверные, не добавив при этом примеров, определение атрибута не изменится, и повторное тестирование даст тот же результат.
Если одних примеров недостаточно, отредактируйте подробное описание атрибута и выполните повторное тестирование.
Проверяйте значения в поле Объяснение, если полученные результаты оказались неожиданными. Они помогут понять, как именно Analyzer интерпретировал определение и где могут потребоваться дополнительные уточнения.
При необходимости используйте дополнительные параметры
Дополнительные параметры стоит применять, если основного определения недостаточно для корректной работы.
Можно добавить:
- Примеры включений — значения, которые должны быть извлечены.
- Примеры исключений — значения, которые извлекать не следует.
По возможности используйте от одного до пяти примеров. Слишком большое количество примеров может сделать атрибут чрезмерно узкоспециализированным.
Случаи, когда стоит уточнять или создавать атрибут заново
Уточняйте атрибут, если наблюдаете следующее:
- Пропущены значения, которые должны были быть найдены.
- Результаты оказались более широкими, чем ожидалось.
- Извлечены неверные значения, которые лишь отдаленно напоминают заданную концепцию.
- Результаты различаются при анализе похожих документов.
Если многократные уточнения не приносят надежных результатов, попробуйте создать атрибут заново, используя:
- Более простое определение.
- Более узкая область применения.
- Новые примеры.
- Более подходящий тип значения.
Как понять, что атрибут готов
Атрибут готов к более широкому использованию, если:
- Он стабильно выдает ожидаемые значения в различных типичных документах.
- В документах, где искомая информация отсутствует, атрибут корректно не возвращает никаких значений.
- Формат выходных данных соответствует требуемому.
- Результаты остаются стабильными даже после внесения незначительных корректировок.
После проверки атрибута на небольшой выборке расширьте тестирование, охватив более широкий набор документов, чтобы выявить оставшиеся граничные случаи.