Niektóre operacje w usłudze Firefly Graph mają koszty, których nie można obliczyć z góry.W takim przypadku obok przycisku Uruchom pojawi się wskaźnik Kredyty się różnią zamiast stałego oszacowania kredytów. W tej sekcji wyjaśniono na czym polega i jak powstaje obieg pracy o nieokreślonych kosztach oraz co należy zrobić podczas jego uruchamiania.
Co oznacza sformułowanie „Liczba kredytów różni się”?
Standardowy węzeł ma przewidywalny koszt.Jeśli uruchomisz węzeł generacji obrazu, który tworzy jeden obraz 1024×1024, usługa Firefly Graph wie, ile to kosztuje, i pokazuje koszt przed uruchomieniem.
Węzeł o nieokreślonym koszcie jest inny: Graph może potwierdzić, że kredyty zostaną zużyte, ale dokładna suma nie jest znana, dopóki obieg pracy nie zakończy wykonywania. Rzeczywisty koszt jest obliczany na podstawie faktycznego użycia i rozliczany na koncie użytkownika po zakończeniu zadania.
Dlaczego niektórych kosztów nie można przewidzieć?"]}
Istnieją dwa różne powody, dla których obieg pracy może mieć nieokreślone koszty.
- Sam węzeł produkuje zmienne dane wyjściowe: Niektóre węzły są z założenia niedeterministyczne. Najjaśniejszym przykładem jest węzeł dużego modelu językowego — koszt zależy od tego, ile tokenów model wygeneruje w odpowiedzi na polecenie, a nie jest to znane do momentu zakończenia generowania. Krótka odpowiedź i długa odpowiedź kosztują różne kwoty, a Graph nie ma sposobu przewidzenia, którą z nich model wyprodukuje. Inne węzły w tej kategorii obejmują te, które zwracają zmienną liczbę elementów (na przykład węzeł segmentacji jednostek, który zwraca tyle jednostek, ile znajdzie w obrazie wejściowym) lub węzły, których struktura wyjściowa zależy od zawartości danych wejściowych.
- Graf uruchamia węzeł zmienną liczbę razy: Nawet węzeł o stałym koszcie na wykonanie może stać się nieokreślony, gdy jest używany w kontekście listy, pętli lub strumienia. Jeśli węzeł uruchamia się raz na element na liście upstream, a rozmiar tej listy jest wytwarzany przez wcześniejszy niedeterministyczny węzeł, całkowita liczba wykonań — a zatem całkowity koszt — nie może być obliczona do momentu uruchomienia obiegu pracy.Jest to powszechne w obiegach pracy, które się rozgałęziają: węzeł segmentacji zwraca N jednostek, a węzeł generowania downstream uruchamia się raz na jednostkę. Zarówno liczba, jak i koszt na element przyczyniają się do sumy, którą da się ustalić dopiero po fakcie.
Jak są prezentowane nieokreślone koszty
Gdy obieg pracy zawiera co najmniej jeden węzeł o nieokreślonym koszcie lub ścieżki wykonania, które generują zmienną liczbę wywołań, funkcja Graph zastępuje standardowe oszacowanie kosztów kredytów etykietą „Liczba kredytów różni się”. Zobaczysz to w kontrolkach Uruchom przed rozpoczęciem obiegu pracy.
Najechanie kursorem lub rozwinięcie wskaźnika pokazuje, które węzły w grafie przyczyniają się do zmienności, dzięki czemu można sprawdzić obieg pracy przed jego uruchomieniem.
Co potwierdzasz, gdy uruchamiasz obieg pracy?
Uruchomienie obiegu pracy z opcją Credits varies oznacza potwierdzenie, że:
Można przejrzeć kredyty generatywne w dowolnym momencie, sprawdzając saldo, i należy zawsze monitorować wykonywanie grafu podczas rozpoczynania przetwarzania, aby zidentyfikować przypadki, gdy uruchamia więcej iteracji niż oczekiwano.
Zarządzanie nieokreślonymi kosztami
Kilka praktycznych sposobów na zachowanie kontroli:
Sprawdź źródło zmienności. Wskaźnik „Liczba kredytów różni się” informuje, które węzły są jej przyczyną — czasami wystarczy niewielka zmiana w funkcji Graph, aby koszt obiegu pracy stał się przewidywalny.
