Sommige bewerkingen in Firefly Graph hebben kosten die niet van tevoren berekend kunnen worden. In dat geval staat er een indicator met Tegoeden variëren naast de knop Uitvoeren in plaats van een schatting van de tegoeden. Deze sectie legt uit wat dat betekent, waarom het gebeurt en wat er van je verwacht wordt wanneer je een workflow uitvoert met onbepaalde kosten.
Wat betekent 'Tegoeden variëren'?
Een standaard node heeft voorspelbare kosten. Als je een node voor het genereren van afbeeldingen uitvoert die één afbeelding van 1024×1024 produceert, weet Firefly Graph wat dat kost en worden de kosten weergegeven voordat je doorgaat met de workflow.
Een node met onbepaalde kosten is anders: Graph kan bevestigen dat er tegoed verbruikt zal worden, maar het exacte totaal is pas bekend wanneer de workflow klaar is met uitvoeren. De werkelijke kosten worden berekend op basis van het echte gebruik en verrekend met je account zodra de uitvoering voltooid is.
Waarom kunnen sommige kosten niet voorspeld worden?
Er zijn twee verschillende redenen waarom een workflow onbepaalde kosten kan hebben.
- De node zelf produceert een variabele uitvoer: sommige nodes zijn van nature niet-deterministisch. Het duidelijkste voorbeeld is een node voor een groot taalmodel — de kosten hangen af van hoeveel tokens het model genereert als reactie op je opdracht, en dat is pas bekend wanneer het genereren voltooid is. Een kort antwoord en een lang antwoord kosten verschillende bedragen, en Graph kan niet voorspellen welke het model zal produceren. Andere nodes in deze categorie zijn onder meer nodes die een variabel aantal items retourneren (bijvoorbeeld een node voor de segmentatie van entiteiten die alle entiteiten in een ingevoerde afbeelding retourneert) of nodes waarvan de uitvoerstructuur afhangt van de inhoud van de invoer.
- De grafiek voert de node een variabel aantal keren uit: zelfs een node met vaste kosten per uitvoer kan onbepaald worden wanneer deze wordt gebruikt binnen een lijst-, lus- of streamcontext. Als een node één keer wordt uitgevoerd per item in een upstream-lijst, en de grootte van die lijst zelf wordt geproduceerd door een voorheen niet-deterministische node, kan het totale aantal uitvoeringen — en daarom de totale kosten — niet worden berekend totdat de workflow daadwerkelijk wordt uitgevoerd. Dit komt vaak voor in workflows die uitwaaieren: een segmentatie-node retourneert N entiteiten, en een generatie-node voor downstreams wordt één keer per entiteit uitgevoerd. Zowel het aantal als de kosten per item dragen bij aan een totaal dat pas achteraf bekend is.
Hoe onbepaalde kosten worden weergegeven
Wanneer een workflow ten minste één node met onbepaalde kosten bevat of uitvoeringspaden heeft die variabele aanroepen produceren, vervangt Graph de gebruikelijke kostenschatting door het label Tegoeden variëren. Je ziet dit in de besturingselementen voor Uitvoeren voordat je een workflow start.
Door over de indicator heen te bewegen of hem uit te vouwen zie je welke nodes in je grafiek bijdragen aan de variabiliteit, zodat je de workflow kunt inspecteren voordat je deze uitvoert.
Wat bevestig je wanneer je een workflow uitvoert?
Het uitvoeren van een workflow met Tegoeden variëren is jouw bevestiging dat:
Je kunt je tegoed voor generatieve AI op elk moment controleren door je saldo te raadplegen. Je dient de uitvoering van grafieken altijd te controleren wanneer de verwerking begint om zo gevallen te identificeren waarbij er meer iteraties worden uitgevoerd dan je zou verwachten.
Onbepaalde kosten beheren
Enkele praktische manieren om de controle te behouden:
