Egyes műveletek a Firefly Graphban olyan költségekkel járnak, amelyek nem számíthatók ki előre. Ebben az esetben a Futtatás gomb mellett egy Változó kreditek jelzést fog látni egy rögzített kreditbecslés helyett. Ez a szakasz elmagyarázza, hogy ez mit jelent, miért történik ez, és mit várunk Öntől, amikor egy meghatározatlan költségű munkafolyamatot futtat.
Mit jelent a „Változó kreditek” kifejezés?
A standard csomópont kiszámítható költséggel rendelkezik. Ha egy képgeneráló csomópontot futtat, amely egy 1024×1024-es képet hoz létre, a Firefly Graph tudja, hogy ez mennyibe kerül, és megmutatja a költséget a futtatás előtt.
Egy meghatározatlan költségű csomópont más: a Graph megerősítheti, hogy kreditek lesznek felhasználva, de a pontos összeg nem ismerhető meg, amíg a munkafolyamat be nem fejeződik. A tényleges költséget a valós használat alapján számítjuk ki, és a futtatás befejezése után számoljuk el a fiókjában.
Miért nem lehet egyes költségeket előre jelezni?
Két külön oka is lehet annak, hogy egy munkafolyamat költségei nem határozhatók meg.
- Maga a csomópont változó kimenetet hoz létre: Egyes csomópontok tervezésüknél fogva nem determinisztikusak. A legegyértelműbb példa egy nagy nyelvi modell csomópont — a költség attól függ, hogy hány tokent generál a modell az Ön utasítására válaszul, és ez csak a generálás befejezése után derül ki. Egy rövid válasz és egy hosszú válasz különböző összegbe kerül, és a Graph nem tudja előre jelezni, hogy a modell melyiket fogja létrehozni. Ebbe a kategóriába tartoznak azok a csomópontok is, amelyek változó számú elemet adnak vissza (például egy entitás-szegmentálási csomópont, amely annyi entitást ad vissza, amennyit egy bemeneti képben talál) vagy olyan csomópontok, amelyek kimeneti struktúrája a bemenet tartalmától függ.
- A gráf változó számú alkalommal futtatja a csomópontot: Még egy rögzített végrehajtásonkénti költségű csomópont is meghatározatlanná válhat, ha lista-, ciklus- vagy adatfolyam-kontextusban használják. Ha egy csomópont egyszer fut le egy felsőbb szintű lista minden eleme után, és a lista mérete maga is egy korábbi nem determinisztikus csomópont által létrehozott, akkor a végrehajtások teljes száma — és ezáltal a teljes költség — nem számítható ki a munkafolyamat futtatása előtt. Ez gyakori az elágazó munkafolyamatokban: egy szegmentálási csomópont N entitást ad vissza, és egy alsóbb szintű generálási csomópont egyszer fut le entitásonként. Mind a szám, mind az elemenkénti költség hozzájárul egy olyan összeghez, amely csak utólag ismerhető meg.
Hogyan jelennek meg a meghatározatlan költségek?
Amikor a munkafolyamat legalább egy meghatározatlan költségű csomópontot tartalmaz, vagy olyan végrehajtási útvonalakkal rendelkezik, amelyek változó meghívásszámot eredményeznek, a Graph a szokásos kredit becslést a Változó kreditek címkére cseréli. Ezt a Futtatás vezérlőelemekben láthatja a munkafolyamat elindítása előtt. Ha az egérmutatót a jelző fölé viszi vagy azt kibontja, megtekintheti, hogy a gráf mely csomópontjai járulnak hozzá a változékonysághoz, így a futtatás előtt megvizsgálhatja a munkafolyamatot.
Mit fogad el, amikor egy munkafolyamatot futtat?
A munkafolyamat Változó kreditek beállítással történő futtatásával Ön tudomásul veszi, hogy:
- A pontos kredit költséget a tényleges végrehajtás határozza meg.
- A kreditek a tényleges használat alapján kerülnek felhasználásra, és a futtatás befejezésekor levonásra kerülnek a fiókjából.
- Áttekintette a munkafolyamatot és elfogadja, hogy az összeg magasabb vagy alacsonyabb lehet, mint egy hasonló rögzített költségű munkafolyamaté.
Bármikor ellenőrizheti a generatív kreditjeit az egyenlege megtekintésével, és érdemes folyamatosan figyelemmel kísérnie a gráf végrehajtását a feldolgozás megkezdésekor, hogy azonosíthassa azokat az eseteket, amikor az a vártnál több iterációt futtat.
Meghatározatlan költségek kezelése
Néhány gyakorlati módszer az irányítás megtartására:
- Először kis bemeneten tesztelje. Futtassa egyszer a munkafolyamatot minimális bemenettel, hogy megértse a tipikus költségét, mielőtt nagy léptékben futtatja.
- Vizsgálja meg a változékonyság forrását. A Változó kreditek jelző megmutatja, hogy mely csomópontok a felelősek – néha egy apró módosítás a gráfon már elég ahhoz, hogy a munkafolyamat újra kiszámíthatóvá váljon.
