Einige Vorgänge in Firefly Graph haben Kosten, die nicht im Voraus berechnet werden können. In diesem Fall siehst du den Indikator Credits variieren neben der Ausführen-Schaltfläche anstelle einer festen Credit-Schätzung. Dieser Abschnitt erklärt, was das bedeutet, warum es passiert und was von dir erwartet wird, wenn du einen Workflow mit unbestimmten Kosten ausführst.
Was bedeutet „Credits variieren"?
Ein standardmäßiger Knoten hat vorhersagbare Kosten. Wenn du einen Bildgenerierungs-Knoten ausführst, der ein 1024×1024-Bild produziert, weiß Firefly Graph, was das kostet und zeigt dir die Kosten an, bevor du es ausführst.
Ein Knoten mit unbestimmten Kosten ist anders: Graph kann bestätigen, dass Credits verbraucht werden, aber die genaue Gesamtsumme kann erst bekannt sein, wenn der Workflow die Ausführung beendet hat. Die tatsächlichen Kosten werden aus der realen Nutzung berechnet und mit deinem Konto abgeglichen, sobald die Ausführung abgeschlossen ist.
Warum können einige Kosten nicht vorhergesagt werden?
Es gibt zwei verschiedene Gründe, warum ein Workflow unbestimmte Kosten haben kann.
- Der Knoten selbst produziert variable Ausgaben: Einige Knoten sind von Natur aus nicht-deterministisch. Das klarste Beispiel ist ein Knoten für Large Language Models (LLM) – die Kosten hängen davon ab, wie viele Tokens das Modell für die Antwort auf deinen Prompt generiert, und das ist erst nach Abschluss der Generierung bekannt. Eine kurze Antwort und eine lange Antwort kosten unterschiedlich viel, und Graph kann nicht vorhersagen, welche das Modell produzieren wird. Andere Knoten in dieser Kategorie sind solche, die eine variable Anzahl von Elementen zurückgeben (zum Beispiel ein Entitäten-Segmentierungs-Knoten, der so viele Entitäten zurückgibt, wie er in einem Eingabebild findet) oder Knoten, deren Ausgabestruktur vom Inhalt der Eingabe abhängt.
- Der Graph führt den Knoten eine variable Anzahl von Malen aus: Selbst ein Knoten mit festen Kosten pro Ausführung kann unbestimmt werden, wenn er in einem Listen-, Schleifen- oder Stream-Kontext verwendet wird. Wenn ein Knoten einmal pro Element in einer vorgelagerten Liste ausgeführt wird und die Größe dieser Liste selbst von einem früheren nicht-deterministischen Knoten produziert wird, kann die Gesamtanzahl der Ausführungen – und damit die Gesamtkosten – nicht berechnet werden, bis der Workflow läuft. Das ist häufig in Workflows, die sich auffächern: Ein Segmentierungs-Knoten gibt N Entitäten zurück, und ein nachgelagerter Generierungs-Knoten läuft einmal pro Entität. Sowohl die Anzahl als auch die Kosten pro Element tragen zu einer Gesamtsumme bei, die erst im Nachhinein bekannt ist.
Wie unbestimmte Kosten angezeigt werden
Wann immer ein Workflow mindestens einen Knoten mit unbestimmten Kosten enthält oder Ausführungspfade hat, die variable Aufrufzahlen produzieren, ersetzt Graph die übliche Credit-Schätzung durch die Kennzeichnung „Credits variieren“. Du siehst das in den Ausführungssteuerungen, bevor du einen Workflow startest.
Wenn du über den Indikator fährst oder ihn erweiterst, wird angezeigt, welche Knoten in deinem Graph zur Variabilität beitragen, sodass du den Workflow vor der Ausführung prüfen kannst.
Was bestätigst du, wenn du einen Workflow ausführst?
Die Ausführung eines Workflows mit „Credits variieren“ ist deine Bestätigung, dass:
Du kannst deine Generative Credits jederzeit überprüfen, indem du dein Guthaben ansiehst, und du solltest die Graph-Ausführung immer überwachen, wenn sie mit der Verarbeitung beginnt, um Fälle zu identifizieren, in denen mehr Iterationen ausgeführt werden, als du erwartest.
Verwaltung unbekannter Kosten
Ein paar praktische Wege, um die Kontrolle zu behalten:
Prüfe die Quelle der Variabilität. Der Indikator „Credits variieren“ zeigt dir, welche Knoten verantwortlich sind – manchmal reicht eine kleine Graph-Änderung aus, um einen Workflow wieder vorhersagbar zu machen.
