属性を開きます。
より大きな文書セット全体で属性を使用する前に、実際の文書に対して属性をテストします。
テストにより、一貫性のない結果、予期しない一致、および欠損値を特定できます。結果を使用して属性定義と例を改善してから、属性をより広く適用します。
はじめる前に
次を確認してください。
- 属性の表示と編集ができる。
- 属性が既に存在する。
- 値が含まれると予想される文書にアクセスできる。
- テストごとに選択する文書は 10 個以下である。
属性のテスト
テストする属性を選択します。
属性定義が自動的に開きます。
「テスト」を選択します。
テストする文書を 2 個以上、最大 10 個まで選択します。
- 「すべてのファイル」がデフォルトでソースリストとして選択されます。
- コレクションセレクターを使用して、リストを特定のコレクションに絞り込みます。
最大 10 個のファイルを選択し、「ファイルを追加」をクリックします。
Analyzer が抽出を実行し、評価結果を表示します。
テスト結果の確認
結果テーブルには、選択された各文書が次の内容と共に表示されます:
- {属性名} — 抽出値。
- 引用元コンテンツ — 結果を裏付ける引用元コンテンツ。
- 説明 — Analyzer が値を決定する際に使用した仮定と条件。
- ユーザーフィードバック — 評価中に提供したフィードバック。
ファイルにカーソルを合わせ、レビューを選択して抽出された完全な出力を確認します。
コンテキストで結果を確認
レビューを選択して、ソース文書と照らし合わせて結果を確認します。
確認画面には以下が表示されます。
- 抽出場所がハイライト表示された引用元文書。
- 抽出された完全な値。
- 引用元コンテンツ。
- 説明。
- 正誤をマークするためのフィードバックコントロール。
文書名の横にあるナビゲーションコントロールを使用して、選択したテスト文書間を移動します。
Excel および CSV ファイル
Excel および CSV ファイルは Analyzer で直接プレビューできません。
これらのファイル形式に対してテストする場合は、抽出された結果と引用元データをダウンロードして、引用元ファイルと比較してください。
フィードバックを提供
各結果の正誤をマークします。
値を正しくないとマークする場合は、Analyzer が含めるべき内容または除外すべき内容を明確化する例を提供してください。
以下のような例を使用してください:
- 具体的である。
- 代表的な引用元コンテンツから直接取得している。
- Analyzer に認識させるたり回避させたりしたいパターンに焦点を当てている。
Analyzer は、提供された包含例と除外例を属性定義の詳細オプションに追加します。
属性を改善して再テストする
テスト中に追加されたフィードバックと例を確認します。
例が意図した結果を正確に記述している場合は、再テストを選択して、同じ文書に対して更新された定義を評価します。
例を追加せずに結果を正しいまたは間違いとマークした場合、属性定義は変更されず、再テストでも同じ動作になります。
例だけでは十分でない場合は、詳細な属性の説明を編集して再テストします。
結果が予期外である場合は、説明の値を確認します。これらは、Analyzer が定義を解釈する方法と、さらに明確化が必要な場所の特定に役立ちます。
必要に応じて詳細オプションを使用する
メインの定義で十分なガイダンスが提供されない場合は、詳細オプションを使用します。
追加できるもの:
- 包含例:抽出すべき値を示します。
- 除外例:抽出すべきでない値を示します。
可能な場合は、1 から 5 個の例を使用します。例が多すぎると、属性が過度に限定的になる可能性があります。
属性を改善または再作成するタイミングの見極め方
次のような場合は、属性を改善します。
- 見つかるべきだった値が欠落している。
- 結果が予想よりも広範囲である。
- 意図した概念に似ているが、値が誤っている。
- 類似する文書間で結果に一貫性がない。
繰り返し改善しても信頼できる結果が得られない場合は、以下で属性を再作成することを検討してください。
- よりシンプルな定義。
- より狭い範囲。
- 新しい例。
- より適切な値の型
属性が準備完了となるタイミングの把握
属性が広範囲での使用準備が整う条件:
- 代表的な複数の文書にわたって、一貫して期待される値が返される。
- ターゲット情報のない文書で値が返されない。
- 出力形式が意図された結果と一致する。
- 軽微な調整後も結果が安定している。
小さなサンプルで属性を検証した後、テスト範囲をより広い文書セットに展開して、残りのエッジケースを特定します。