Noen operasjoner i Firefly Graph har kostnader som ikke kan beregnes på forhånd. Når det er tilfellet, vil du se en Kreditter varierer-indikator ved siden av Kjør-knappen i stedet for et fast kredittestimat. Denne delen forklarer hva det betyr, hvorfor det skjer, og hva som forventes av deg når du kjører en arbeidsflyt med ubestemte kostnader.
Hva betyr «Kreditter varierer»?
En standardnode har en forutsigbar kostnad. Hvis du kjører en bildegenerering-node som produserer ett 1024×1024-bilde, vet Firefly Graph hva det koster og viser deg kostnaden før du kjører det.
En node med ubestemte kostnader er annerledes: Graph kan bekrefte at kreditter blir forbrukt, men det nøyaktige antallet kan ikke fastslås før kjøringen av arbeidsflyten er fullført. Den faktiske kostnaden beregnes fra faktisk bruk og avstemmes mot kontoen din når kjøringen er fullført.
Hvorfor kan ikke noen kostnader forutsies?
Det er to ulike grunner til at en arbeidsflyt kan ha ubestemte kostnader.
- Selve noden produserer variable utdata: Noen noder er utformet for å være ikke-deterministiske. Det tydeligste eksempelet er en node for en stor språkmodell – kostnaden avhenger av hvor mange polletter modellen genererer som svar på hjelpeteksten din, og det er ikke kjent før genereringen er fullført. Et kort svar og et langt svar koster forskjellige antall kreditter, og Graph er ikke i stand til å forutsi hvilket svar modellen kommer til å produsere. Andre noder i denne kategorien inkluderer slike som returnerer et variabelt antall elementer (for eksempel en entitetssegmenteringsnode som returnerer det antallet entiteter den finner i et inndatabilde), eller noder hvis utdatastruktur avhenger av innholdet i inndataene.
- Grafen kjører noden et variabelt antall ganger: Selv en node med en fast kostnad per kjøring kan bli ubestemt når den brukes i en liste-, sløyfe- eller strømkontekst. Hvis en node kjører én gang per element i en oppstrøms liste og størrelsen på den listen selv produseres av en tidligere ikke-deterministisk node, kan det totale antallet kjøringer – og derfor den totale kostnaden – ikke beregnes før arbeidsflyten kjører. Dette er vanlig i arbeidsflyter som forgrener seg: en segmenteringsnode returnerer N entiteter, og en nedstrøms genereringsnode kjører én gang per entitet. Både antallet og kostnaden per element bidrar til en total som bare kan kjennes i ettertid.
Hvordan ubestemte kostnader vises
Når en arbeidsflyt inneholder minst én node med ubestemte kostnader eller har kjøringsbaner som produserer variable aktiveringsantall, erstatter Graph det vanlige kredittestimatet med etiketten «Kreditter varierer». Du ser dette i Kjør-kontrollene før du starter en arbeidsflyt.
Hvis du holder musepekeren over eller utvider indikatoren, vises det hvilke noder i grafen din som bidrar til variabiliteten, slik at du kan inspisere arbeidsflyten før du kjører den.
Hva bekrefter du når du kjører en arbeidsflyt?
Kjøring av en arbeidsflyt med Kreditter varierer er en bekreftelse på følgende:
Du kan gjennomgå de generative kredittene dine når som helst ved å se på saldoen din. Du bør alltid overvåke grafkjøringen når den begynner å behandle for å identifisere tilfeller der den kjører flere iterasjoner enn du forventer.
Håndtering av ubestemte kostnader
Noen praktiske måter å beholde kontrollen på:
