改良したい属性を選択します。
明確な属性定義を作成して代表的な文書でテストし、結果に基づいて改良します。
効果的な属性の作成は反復的なプロセスです。シンプルな定義から始めて、Analyzer が実際の文書全体でそれをどのように解釈するかを確認し、結果で明確化が必要であることが示された場合にのみ詳細を追加します。
シンプルな定義から始める
抽出したい情報について、まず率直に説明してください。
初期定義のパフォーマンスを理解するまで、制約、条件、または例の追加は避けます。シンプルに始めることで、どの表現が精度を向上させるか低下させるかを特定しやすくなります。
次に例を示します。
文書から顧問料を抽出します。
明確でわかりやすい定義を作成する
文書に詳しくない人に説明するときのように、概念を記述します。
情報がどこに表示されるかよりも、意味に焦点を当てます。
以下に依存することは避けます。
- 書式
- セクション番号
- ページ位置
- その他のレイアウトに依存する指示
次に例を示します。
料金表には、役割または職位と、それぞれの時給が記載されています。
属性を絞り込む
改良には通常、複数の評価サイクルが必要です。
意図した結果を明確にしたり、曖昧さを減らしたりするように定義を編集します。
更新した定義を使用して抽出を再実行します。
少数の文書セットで結果を評価します。
必要に応じてこの手順を繰り返します。
予期しない結果の診断
結果のパターンを使用して、定義を変更する方法を決定します。
結果の範囲が広すぎる
属性が関連性のないコンテンツを抽出する場合:
- 定義をより具体的にします。
- 役立つ場合は、期待される回答形式を指定します。
- 数値の結果には Number など、適切な値タイプを選択します。
次に例を示します。
パーセンテージのみで答えてください。
結果が狭すぎるか欠落している
期待される値が返されない場合:
- 不要な制約を削除します。
- 意図された結果を明確にするため、正の例と負の例を追加します。
- 評価される文書にターゲット情報が実際に含まれていることを確認します。
文書間で結果が異なる
定義が一部の文書では機能するが、他では機能しない場合:
- ターゲット情報が含まれていることが分かっている文書に対して、最初に検証してください。
- 初期結果が一貫している場合にのみ、より幅広い文書の組み合わせにテストを拡張します。
- 期待される値が存在するかどうか不明な場合は、ソース文書を手動で確認します。
例を意図的に使用する
例により、定義に含めるものと除外するものを明確にできます。
- プラスの例を使用し、抽出すべき値を示します。
- マイナスの例を使用し、抽出すべきでない値を示します。
- 可能な場合は例を 3~5 個に制限します。
例は明確な定義を改良するものであり、定義に代わるものではありません。
必要な場合にのみ複数ステップのロジックを使用する
一部の属性は、コンテキストまたは決定のシーケンスに依存します。そのような場合は、ロジックを明示的に記述します。
例
次の手順に従って顧問料を抽出します:
- 文書の料金セクションを特定します。
- 契約期間の開始時にパーセンテージで表示された顧問料を特定します。
- X%を標準として扱い、その他のすべてのパーセンテージは交渉済み料金を示します。
- パーセンテージと、標準か交渉済みかを返します。
より簡単な定義で信頼できる結果が得られない場合にのみ、この方法を使用してください。
評価フィードバックを使用する
テスト中に抽出された値を確認し、結果の正誤をマークします。
結果が不正確な場合、可能であれば正しい値を提供してください。これにより、誤検知、見逃したマッチ、定義の改良が必要な箇所を示すパターンを特定できます。
スケーリング前に検証する
属性を広く適用する前に、代表的な文書例と照合します。
検証により、以下が可能になります。
- エッジケースを特定する。
- 大きな文書セット全体に不正確な定義を適用することを回避する。
- 属性が一貫して動作することに確信を持つ。
結果がまだ不正確に見える場合は、定義をさらに改良する前にソース文書を検証してください。一般的な原因は次のとおりです。
- スキャンされた文書のテキスト品質が悪い。
- パスワードで保護されているかロックされたファイル。
- 破損したソースファイル。
- ターゲット情報が不足している。
期待した情報が文書に存在することを確認してから、既に正しくなっている可能性がある定義を変更します。