Alcune operazioni in Firefly Graph hanno costi che non possono essere calcolati in anticipo. In tal caso, vedrai un indicatore Crediti variabili accanto al pulsante Esegui invece di una stima fissa dei crediti. Questa sezione spiega cosa significa, perché accade e cosa ci si aspetta da te quando esegui un flusso di lavoro con costi indeterminati.
Cosa significa l'indicatore "Crediti variabili"?
Un nodo normale ha un costo prevedibile. Se esegui un nodo di generazione immagini che produce un'immagine 1024×1024, Firefly Graph sa quanto costa e ti mostra il costo prima di eseguirlo.
Un nodo con costo indeterminato è diverso: Graph può confermare che i crediti verranno consumati, ma il totale esatto non può essere noto fino al completamento dell'esecuzione del flusso di lavoro. Il costo effettivo viene calcolato in base all'uso reale e riconciliato con il tuo account una volta completata l'esecuzione.
Perché alcuni costi non possono essere previsti?
Ci sono due ragioni distinte per cui un flusso di lavoro può avere costi indeterminati.
- Il nodo stesso produce un output variabile: alcuni nodi sono non deterministici per progettazione. L'esempio più chiaro è un nodo di modello linguistico di grandi dimensioni: il costo dipende da quanti token il modello genera in risposta al tuo prompt, e questo non è noto fino al completamento della generazione. Una risposta breve e una risposta lunga hanno costi diversi e Graph non può prevedere quale produrrà il modello. Altri nodi di questa categoria includono quelli che restituiscono un numero variabile di elementi (ad esempio, un nodo di segmentazione di entità che restituisce tutte le entità trovate in un'immagine di input) o nodi la cui struttura di output dipende dal contenuto dell'input.
- Il grafico esegue il nodo un numero variabile di volte: anche un nodo con un costo fisso per esecuzione può diventare indeterminato se viene utilizzato all'interno di un contesto di elenco, ciclo o flusso. Se un nodo viene eseguito una volta per ogni elemento in un elenco a monte e la dimensione di tale elenco è a sua volta prodotta da un nodo non deterministico precedente, il numero totale di esecuzioni (e perciò il costo totale) non può essere calcolato fino a quando il flusso di lavoro non viene eseguito. Questo è comune nei flussi di lavoro che si espandono: un nodo di segmentazione restituisce N entità e un nodo di generazione a valle viene eseguito una volta per entità. Sia il conteggio che il costo per elemento contribuiscono a un totale che si può conoscere solo a posteriori.
Come vengono mostrati i costi indeterminati
Ogni volta che un flusso di lavoro contiene almeno un nodo con costo indeterminato o ha percorsi di esecuzione che producono conteggi di invocazione variabili, Graph sostituisce la stima di crediti abituale con l'etichetta Crediti variabili. La vedrai nei controlli di esecuzione prima di iniziare un flusso di lavoro.
Passando il mouse o espandendo l'indicatore vengono mostrati quali nodi nel grafico contribuiscono alla variabilità, così puoi ispezionare il flusso di lavoro prima di eseguirlo.
Cosa stai riconoscendo quando esegui un flusso di lavoro?
Eseguire un flusso di lavoro con Crediti variabili è il riconoscimento che:
Puoi rivedere i tuoi crediti generativi in qualsiasi momento controllando il saldo e dovresti sempre monitorare l'esecuzione del grafico quando inizia l'elaborazione per identificare i casi in cui sta eseguendo più iterazioni di quanto ti aspetteresti.
Gestione dei costi indeterminati
Alcuni modi pratici per mantenere il controllo:
