Vissa operationer i Firefly Graph har kostnader som inte kan beräknas i förväg.När så är fallet ser du indikatorn Antalet krediter varierar bredvid Kör-knappen istället för en fast kredituppskattning. Det här avsnittet förklarar vad det betyder, varför det händer och vad som förväntas av dig när du kör ett arbetsflöde med obestämda kostnader.
Vad betyder ”Antalet krediter varierar”?
En standardnod har en förutsägbar kostnad.Om du kör en bildgenereringsnod som producerar en 1024×1024-bild vet Firefly Graph vad det kostar och visar dig kostnaden innan du kör den.
En nod med obestämd kostnad är annorlunda: Graph kan bekräfta att krediter kommer att förbrukas, men den exakta summan kan inte fastställas förrän arbetsflödet har slutförts.Den faktiska kostnaden beräknas från verklig användning och stäms av mot ditt konto när körningen är klar.
Varför kan vissa kostnader inte förutsägas?
Det finns två distinkta anledningar till att ett arbetsflöde kan ha obestämda kostnader.
- Noden i sig producerar variabla utdata: Vissa noder är avsiktligt icke-deterministiska. Det tydligaste exemplet är en stor språkmodellnod — kostnaden beror på hur många token modellen genererar som svar på din prompt, och det är inte känt förrän genereringen är klar.Ett kort svar och ett långt svar har olika kostnader, och Graph kan inte förutsäga vilket som modellen kommer att producera.Andra noder i denna kategori inkluderar sådana som returnerar ett variabelt antal objekt (till exempel en entitetssegmenteringsnod som returnerar så många entiteter den hittar i en inmatningsbild) eller noder vars utdatastruktur beror på innehållet i indata.
- Grafen kör noden ett variabelt antal gånger: Även en nod med en fast kostnad per körning kan bli obestämd när den används i en lista, loop eller strömkontext. Om en nod körs en gång per objekt i en uppströmslista, och storleken på listan i sig produceras av en tidigare icke-deterministisk nod, kan det totala antalet körningar — och därför den totala kostnaden — inte beräknas förrän arbetsflödet körs.Detta är vanligt i arbetsflöden som förgrenas: en segmenteringsnod returnerar N entiteter, och en nedströms generatorsnod körs en gång per entitet. Både antalet och kostnaden per objekt bidrar till en total som endast kan fastställas i efterhand.
Hur obestämda kostnader visas
När ett arbetsflöde innehåller minst en nod med obestämd kostnad eller har körningsvägar som producerar ett varierande antal anrop, ersätter Graph den vanliga kredituppskattningen med etiketten Antalet krediter varierar. Du ser detta i körkontrollerna innan du startar ett arbetsflöde.
När du håller muspekaren över eller expanderar indikatorn visas vilka noder i din graf som bidrar till variationen, så att du kan granska arbetsflödet innan du kör det.
Vad bekräftar du när du kör ett arbetsflöde?
Att köra ett arbetsflöde med Antalet krediter varierar innebär att du bekräftar följande:
Du kan granska dina generativa krediter när som helst genom att titta på ditt saldo, och du bör alltid övervaka grafens körning när den börjar bearbeta för att identifiera fall där den kör fler iterationer än du förväntar dig.
Hantering av obestämda kostnader
Några praktiska sätt att behålla kontrollen:
