Niektoré operácie vo Firefly Graph majú náklady, ktoré sa nedajú vopred vypočítať.V takom prípade uvidíte indikátor Kredity sa líšia vedľa tlačidla Spustiť namiesto pevného odhadu kreditov.Táto sekcia vysvetľuje, čo to znamená, prečo sa to deje a čo sa od vás očakáva, keď spustíte pracovný postup s neurčenými nákladmi.
Čo znamená „Kredity sa líšia"?
Štandardný uzol má predvídateľné náklady.Ak spustíte uzol generovania obrázkov, ktorý vytvorí jeden obrázok 1024×1024, program Adobe Firefly Graph vie, čo to stojí, a zobrazí vám náklady pred spustením.
Uzol s neurčenými nákladmi je iný: Graph môže potvrdiť, že kredity budú spotrebované, ale presnú celkovú sumu nie je možné zistiť, kým sa nevykoná celý pracovný postup. Skutočné náklady sa vypočítajú zo skutočnej spotreby a po dokončení spracovania sa zosúladia s vaším kontom.
Prečo sa niektoré náklady nedajú predpovedať?
Existujú dva odlišné dôvody, prečo môže mať pracovný postup neurčené náklady.
- Samotný uzol produkuje variabilný výstup: Niektoré uzly sú navrhnuté tak, aby boli nedeterministické. Najjasnejším príkladom je uzol veľkého jazykového modelu — náklady závisia od toho, koľko tokenov model vygeneruje v odpovedi na vašu výzvu, a to nie je známe, kým sa generovanie nedokončí. Krátka odpoveď a dlhá odpoveď stoja rôzne sumy a Graph nemá spôsob, ako predpovedať, ktorú z nich model vytvorí. Medzi ďalšie uzly v tejto kategórii patria tie, ktoré vracajú variabilný počet položiek (napríklad uzol segmentácie entít, ktorý vráti toľko entít, koľko nájde vo vstupnom obrázku) alebo uzly, ktorých výstupná štruktúra závisí od obsahu vstupu.
- Graf spúšťa uzol premenlivý počet krát: Aj uzol s pevnými nákladmi na spustenie sa môže stať neurčeným, keď sa používa v kontexte zoznamu, cyklu a streamu. Ak sa uzol spustí raz na každú položku v nadradenom zozname a veľkosť tohto zoznamu je sama vytvorená skorším nedeterministickým uzlom, celkový počet spustení — a teda celkové náklady — sa nedajú vypočítať, kým sa pracovný postup nespustí. Toto je bežné v pracovných postupoch, ktoré sa rozvetvujú: uzol segmentácie vráti N entít a následný uzol generovania sa spustí raz na entitu.Tak počet, ako aj náklady na položku prispievajú k celkovej sume, ktorá je známa až dodatočne.
Ako sa zobrazujú neurčené náklady
Ak pracovný postup obsahuje aspoň jeden uzol s neurčenými nákladmi alebo obsahuje vykonávacie cesty, ktoré vedú k premenlivému počtu volaní, Graph nahradí bežný odhad kreditov označením „Kredity sa líšia“. Uvidíte to v ovládacích prvkoch Spustiť pred spustením pracovných postupov.
Navedením kurzora alebo rozbalením indikátora sa zobrazí, ktoré uzly vo vašom grafe prispievajú k variabilite, takže môžete skontrolovať pracovné postupy pred ich spustením.
Čo potvrdzujete, keď spúšťate pracovné postupy?
Spustením pracovného postupu s označením „Kredity sa líšia“ potvrdzujete, že:
Svoje generatívne kredity si môžete kedykoľvek skontrolovať zobrazením svojho zostatku a vždy by ste mali monitorovať vykonávanie grafu, keď sa začne spracovávať, aby ste identifikovali prípady, keď beží viac iterácií, ako by ste očakávali.
Správa neurčených nákladov
Niekoľko praktických spôsobov, ako si udržať kontrolu:
