Nogle operationer i Firefly Graph har omkostninger, der ikke kan beregnes på forhånd.Når det er tilfældet, ser du en Kreditter varierer-indikator ved siden af knappen Kør i stedet for et fast kreditestimat.Dette afsnit forklarer, hvad det betyder, hvorfor det sker, og hvad der forventes af dig, når du kører et arbejdsforløb med ubestemte omkostninger.
Hvad betyder "Kreditter varierer"?
En standardnode har en forudsigelig omkostning.Hvis du kører en billedgenereringsnode, der producerer ét 1024×1024 billede, ved Firefly Graph, hvad det koster, og viser dig omkostningerne, før du kører den.
En node med ubestemt omkostning er anderledes: Graph kan bekræfte, at kreditter forbruges, men det nøjagtige samlede beløb kan ikke kendes, før arbejdsforløbet er færdigt med at køre.Den faktiske omkostning beregnes ud fra det faktiske forbrug og afstemmes med din konto, når kørslen er fuldført.
Hvorfor kan nogle omkostninger ikke forudsiges?
Der er to forskellige årsager til, at et arbejdsforløb kan have ubestemte omkostninger.
- Selve noden producerer et variabelt output: Nogle noder er ikke-deterministiske ved design. Det klareste eksempel er en stor sprogmodelnode — omkostningen afhænger af, hvor mange tokens modellen genererer som svar på din prompt, og det kendes ikke, før genereringen er fuldført.Et kort svar og et langt svar koster forskellige beløb, og Graph har ingen måde at forudsige, hvilket svar modellen vil producere. Andre noder i denne kategori inkluderer dem, der returnerer et variabelt antal elementer (for eksempel en entitetssegmenteringsnode, der returnerer det antal entiteter, den finder i et inputbillede) eller noder, hvis outputstruktur afhænger af inputtets indhold.
- Grafen kører noden et variabelt antal gange: Selv en node med en fast omkostning pr. udførelse kan blive ubestemt, når den bruges i en liste-, loop- eller streamkontekst.Hvis en node kører én gang pr. element i en upstream-liste, og størrelsen af den liste selv produceres af en tidligere ikke-deterministisk node, kan det samlede antal udførelser — og derfor de samlede omkostninger — ikke beregnes, før arbejdsforløbet kører.Dette er almindeligt i arbejdsforløb, der forgrener sig: en segmenteringsnode returnerer N entiteter, og en downstream-genereringsnode kører én gang pr. entitet. Både antallet og prisen pr. element bidrager til et samlet beløb, der kun kan kendes bagefter.
Sådan vises ubestemte omkostninger
Når et arbejdsforløb indeholder mindst én node med ubestemte omkostninger eller har udførelsesforløb, der producerer variable påkaldelsesantal, erstatter Graph det sædvanlige kreditestimat med etiketten Kreditter varierer. Du ser dette i Kør-kontrolelementerne, før du starter et arbejdsforløb.
Når du holder musen over eller udvider indikatoren, vises hvilke noder i din graf, der bidrager til variabiliteten, så du kan inspicere arbejdsforløbet før du kører det.
Hvad anerkender du, når du kører et arbejdsforløb?
At køre et arbejdsforløb med Kreditter varierer er din anerkendelse af, at:
Du kan til enhver tid gennemgå dine generative kreditter ved at se på din saldo, og du bør altid overvåge grafudførelsen, når den begynder at behandle, for at identificere tilfælde, hvor den kører flere iterationer end du ville forvente.
Håndtering af ubestemte omkostninger
Nogle praktiske måder at bevare kontrollen på:
