Některé operace v aplikaci Firefly Graph mají náklady, které nelze předem vypočítat.V takovém případě uvidíte indikátor Kredity se liší vedle tlačítka Spustit místo pevného odhadu kreditů.Tato část vysvětluje, co to znamená, proč se to děje a co se od vás očekává, když spustíte pracovní postupy s neurčenými náklady.
Co znamená „Kredity se liší"?
Standardní uzel má předvídatelné náklady.Pokud spustíte uzel generování obrázků, který vytvoří jeden obrázek rozlišení 1024×1024, aplikace Firefly Graph ví, kolik to stojí, a zobrazí vám náklady před spuštěním.
Uzel s neurčenými náklady je jiný: aplikace Graph může potvrdit, že budou spotřebovány kredity, ale přesný celkový počet nelze znát, dokud se pracovní postup nedokončí.Skutečné náklady se vypočítají ze skutečného použití a vyrovnají se s vaším účtem po dokončení spuštění.
Proč nelze některé náklady předpovědět?
Existují dva odlišné důvody, proč mohou mít pracovní postupy neurčené náklady.
- Samotný uzel vytváří proměnný výstup: Některé uzly jsou záměrně nedeterministické.Nejjasnějším příkladem je uzel velkého jazykového modelu — náklady závisí na tom, kolik tokenů model generuje v reakci na zadání, a to není známo, dokud není generování dokončeno. Krátká odpověď a dlouhá odpověď stojí různé množství kreditů a Graph nemá způsob, jak předpovědět, kterou z nich model vytvoří. Další uzly v této kategorii zahrnují ty, které vrací proměnný počet položek (například uzel pro segmentaci entit, který vrací tolik entit, kolik jich najde ve vstupním obrázku) nebo uzly, jejichž výstupní struktura závisí na obsahu vstupu.
- Graf spouští uzel v různém počtu: I uzel s pevnými náklady na spuštění se může stát neurčeným, když se používá v kontextu seznamu, smyčky nebo streamu. Pokud se uzel spouští jednou za každou položku v nadřazeném seznamu a velikost tohoto seznamu je sama vytvořena dřívějším nedeterministickým uzlem, celkový počet spuštění — a tedy celkové náklady — nelze vypočítat, dokud se pracovní postup nespustí. To je běžné v pracovních postupech, které se rozvětvují: uzel segmentace vrací N entit a následný uzel generování se spouští jednou za každou entitu. Jak počet, tak náklady na položku přispívají k celkové částce, kterou lze zjistit až dodatečně.
Jak se zobrazují neurčené náklady
Kdykoli pracovní postup obsahuje alespoň jeden uzel s neurčenými náklady nebo má cesty spuštění, které vytvářejí proměnný počet vyvolání, Graph nahradí obvyklý odhad kreditů štítkem Kredity se liší. Uvidíte to v ovládacích prvcích Spustit před spuštěním pracovního postupu.
Najetí myší nebo rozbalení indikátoru ukáže, které uzly ve vašem grafu přispívají k variabilitě, takže můžete pracovní postupy zkontrolovat před jejich spuštěním.
Co potvrzujete, když spouštíte pracovní postupy?
Spuštěním pracovního postupu s oznámením Kredity se liší potvrzujte, že rozumíte, že:
Své generativní kredity můžete kdykoli zkontrolovat pohledem na svůj zůstatek a vždy byste měli sledovat spuštění grafu, jakmile začne zpracovávat, abyste identifikovali případy, kdy běží více iterací, než byste očekávali.
Správa neurčených nákladů
Několik praktických způsobů, jak zůstat pod kontrolou:
