Selecteer het kenmerk dat je wilt verfijnen.
Schrijf duidelijke kenmerkdefinities, test ze op representatieve documenten en verfijn ze op basis van de resultaten.
Effectieve kenmerken maken is een iteratief proces. Begin met een eenvoudige definitie, controleer hoe Analyzer deze interpreteert in echte documenten en voeg alleen details toe wanneer de resultaten tonen dat verduidelijking nodig is.
Begin met een eenvoudige definitie
Begin met een directe beschrijving van de informatie die je wilt extraheren.
Voeg geen beperkingen, voorwaarden of voorbeelden toe totdat je begrijpt hoe de oorspronkelijke definitie presteert. Eenvoudig beginnen maakt het makkelijker om vast te stellen welke bewoordingen de nauwkeurigheid verbeteren of verminderen.
Bijvoorbeeld:
Extraheer het voorschotbedrag uit het document.
Schrijf duidelijke definities in gewone taal
Beschrijf het concept alsof je het uitlegt aan iemand die niet bekend is met het document.
Richt je op de betekenis in plaats van waar de informatie verschijnt.
Vertrouw niet op:
- Opmaak.
- Sectienummers.
- Paginapositie.
- Andere layoutafhankelijke instructies.
Bijvoorbeeld:
Een tariefkaart toont de rollen of posities en het uurtarief voor elk.
Verfijn een kenmerk
Verfijning vergt doorgaans meer dan één evaluatiecyclus.
Bewerk de definitie om het beoogde resultaat te verduidelijken of dubbelzinnigheid te verminderen.
Voer de extractie opnieuw uit met de bijgewerkte definitie.
Evalueer de resultaten op een kleine set documenten.
Herhaal deze bewerking zo nodig.
Diagnose onverwachte resultaten
Gebruik het patroon in de resultaten om te bepalen hoe de definitie moet worden gewijzigd.
Resultaten zijn te breed
Als het kenmerk niet-gerelateerde content extraheert:
- Maak de definitie specifieker.
- Specificeer het verwachte antwoordformaat wanneer nuttig.
- Kies een geschikt waardetype, zoals Getal voor numerieke resultaten.
Bijvoorbeeld:
Geef het antwoord alleen als percentage weer.
Resultaten zijn te beperkt of ontbreken
Als verwachte waarden niet worden teruggegeven:
- Verwijder onnodige beperkingen.
- Voeg positieve en negatieve voorbeelden toe om het beoogde resultaat te verduidelijken.
- Controleer dat de doelinformatie daadwerkelijk voorkomt in de documenten die worden geëvalueerd.
Resultaten variëren tussen documenten
Als een definitie werkt voor sommige documenten maar niet voor andere:
- Valideer deze eerst tegen documenten waarvan je weet dat ze de doelinformatie bevatten.
- Breid het testen pas uit naar een breder scala aan documenten nadat de initiële resultaten consistent zijn.
- Verifieer handmatig het brondocument wanneer je niet zeker weet of de verwachte waarde aanwezig is.
Gebruik voorbeelden bewust
Voorbeelden kunnen verduidelijken wat de definitie moet bevatten of uitsluiten.
- Gebruik positieve voorbeelden om waarden te tonen die geëxtraheerd moeten worden.
- Gebruik negatieve voorbeelden om waarden te tonen die niet geëxtraheerd moeten worden.
- Beperk voorbeelden tot drie tot vijf wanneer mogelijk.
Voorbeelden moeten een duidelijke definitie verfijnen, niet vervangen.
Gebruik meertrapslogica alleen wanneer nodig
Sommige kenmerken zijn afhankelijk van context of een volgorde van beslissingen.Beschrijf in die gevallen de logica expliciet.
Bijvoorbeeld
Haal de borgsom eruit door deze stappen te volgen:
- Zoek de sectie met tarieven in het document.
- Identificeer borgsommen uitgedrukt als percentages aan het begin van de termijn.
- Behandel X% als standaard; alle andere percentages geven onderhandelde tarieven aan.
- Geef het percentage terug en of het standaard of onderhandeld is.
Gebruik deze aanpak alleen wanneer een eenvoudigere definitie geen betrouwbare resultaten oplevert.
Evaluatie-feedback gebruiken
Controleer geëxtraheerde waarden tijdens het testen en markeer resultaten als juist of onjuist.
Wanneer een resultaat onjuist is, geef dan de juiste waarde wanneer mogelijk.Dit helpt je vals-positieven, gemiste matches en patronen te identificeren die aangeven waar de definitie verfijning nodig heeft.
Valideren voor opschaling
Voordat je een attribuut breed toepast, valideer het tegen een representatieve steekproef van documenten.
Validatie helpt je:
- Edge cases identificeren.
- Voorkomen dat een onnauwkeurige definitie wordt toegepast op een grote documentenset.
- Vertrouwen opbouwen dat het attribuut consistent werkt.
Als resultaten nog steeds onjuist lijken, verifieer dan de brondocumenten voordat je de definitie verder verfijnt.Veelvoorkomende oorzaken zijn:
- Slechte tekstkwaliteit in gescande documenten.
- Met een wachtwoord beveiligde of vergrendelde bestanden.
- Beschadigde bronbestanden.
- Ontbrekende doelinformatie.
Bevestig dat de verwachte informatie bestaat in het document voordat je een definitie wijzigt die mogelijk al juist is.