Unele operațiuni din Firefly Graph au costuri care nu pot fi calculate în avans. Când acesta este cazul, veți vedea un indicator Creditele variază lângă butonul Rulare în loc de o estimare fixă de credite. Această secțiune explică ce înseamnă aceasta, de ce se întâmplă și ce se așteaptă de la dvs. când rulați un flux de lucru cu costuri nedeterminate.
Ce înseamnă „Creditele variază”?
Un nod standard are un cost previzibil. Dacă rulați un nod de generare de imagini care produce o imagine de 1024×1024, Firefly Graph știe cât costă aceasta și vă arată costul înainte să îl rulați.
Un nod cu cost nedeterminat este diferit: Graph poate confirma că creditele vor fi consumate, dar totalul exact nu poate fi cunoscut până când fluxul de lucru termină execuția. Costul real este calculat pornind de la utilizarea reală și înregistrat în contul dvs. odată ce rularea se finalizează.
De ce nu pot fi estimate unele costuri?
Există două motive distincte pentru care un flux de lucru poate avea costuri nedeterminate.
- Nodul în sine produce rezultate variabile: unele noduri sunt non-deterministe prin design. Cel mai clar exemplu este un nod de model de limbaj mare — costul depinde de câte token-uri generează modelul ca răspuns la indicația dvs., iar acest lucru nu este cunoscut până când generarea este completă.Un răspuns scurt și un răspuns lung costă sume diferite, iar Graph nu are nicio modalitate de a prezice pe care îl va produce modelul.Alte noduri din această categorie includ pe cele care returnează un număr variabil de elemente (de exemplu, un nod de segmentare a entităților care returnează oricâte entități găsește într-o imagine de intrare) sau noduri a căror structură de ieșire depinde de conținutul intrării.
- Graficul rulează nodul de un număr variabil de ori: Chiar și un nod cu un cost fix per execuție poate deveni nedeterminat când este folosit într-un context de listă, buclă sau flux. Dacă un nod rulează o dată per element dintr-o listă de intrare, iar dimensiunea acelei liste este ea însăși produsă de un nod non-determinist anterior, numărul total de execuții — și prin urmare costul total — nu poate fi calculat până când fluxul de lucru nu este executat. Acest lucru este comun în fluxurile de lucru care se ramifică: un nod de segmentare returnează N entități, iar un nod de generare din aval rulează o dată per entitate.Atât numărul, cât și costul per element contribuie la un total care poate fi cunoscut doar ulterior.
Cum sunt afișate costurile nedeterminate
Ori de câte ori un flux de lucru conține cel puțin un nod cu cost nedeterminat sau are căi de execuție care produc numere variabile de invocări, Graph înlocuiește estimarea obișnuită de credite cu eticheta Creditele variază. Veți vedea acest lucru în comenzile de rulare înainte de a începe un flux de lucru.
Trecerea cu mouse-ul sau extinderea indicatorului arată care noduri din graful dvs. contribuie la variabilitate, astfel încât să puteți inspecta fluxul de lucru înainte de a-l rula.
Ce recunoașteți când rulați un flux de lucru?
Dacă rulați un flux de lucru cu Creditele variază admiteți că:
Puteți verifica creditele dvs. generative oricând consultând soldul dvs., și ar trebui să monitorizați întotdeauna execuția graficului pe măsură ce începe să se proceseze pentru a identifica cazurile în care rulează mai multe iterații decât v-ați aștepta.
Gestionarea costurilor nedeterminate
Câteva modalități practice de a rămâne în control:
