Някои операции във Firefly Graph имат разходи, които не могат да бъдат изчислени предварително.Когато случаят е такъв, ще видите индикатор Credits vary (Кредитите варират) до бутона Run (Изпълни) вместо фиксирана оценка на кредитите. Този раздел обяснява какво означава това, защо се случва и какво се очаква от вас, когато изпълнявате работен процес с неопределени разходи.
Какво означава „Кредитите варират"?
Стандартният възел има предвидима цена.Ако изпълните възел за генериране на изображения, който произвежда едно изображение 1024×1024, Firefly Graph знае колко струва това и ви показва цената, преди да го изпълните.
Възелът с неопределена цена е различен: Graph може да потвърди, че кредитите ще бъдат консумирани, но точният общ брой не може да бъде известен, докато работният процес не приключи изпълнението.Действителната цена се изчислява от реалното използване и се съгласува с акаунта ви, след като изпълнението приключи.
Защо някои разходи не могат да бъдат прогнозирани?
Има две различни причини, поради които един работен процес може да има неопределени разходи.
- Самият възел произвежда променлив изход: Някои възли са недетерминистични по дизайн.Най-ясният пример е възел с голям езиков модел — разходът зависи от това колко токена генерира моделът в отговор на вашата подкана, а това не се знае до завършването на генерирането.Кратък отговор и дълъг отговор струват различни суми, а Graph няма начин да предвиди кой от тях ще произведе моделът.Други възли в тази категория включват тези, които връщат променлив брой елементи (например възел за сегментиране на обекти, който връща колкото и обекти да намери във входното изображение) или възли, чиято изходна структура зависи от съдържанието на входа.
- Графът изпълнява възела променлив брой пъти: Дори възел с фиксиран разход за изпълнение може да стане неопределен, когато се използва в контекст на списък, цикъл или поток.Ако възел се изпълнява веднъж за всеки елемент в предходен списък и размерът на този списък се определя от по-ранен недетерминистичен възел, общият брой изпълнения — и следователно общата цена — не може да се изчисли преди изпълнението на работния процес.Това е често срещано в работни процеси, които се разклоняват: възел за сегментиране връща N обекта, а следващ възел за генериране се изпълнява веднъж за всеки обект.И броят, и разходът за елемент допринасят за обща сума, която може да се знае само след това.
Как се показват неопределените разходи
Винаги когато работният процес съдържа поне един възел с неопределен разход или има пътища за изпълнение, които произвеждат променлив брой извиквания, Graph заменя обичайната оценка на кредитите с етикета „Кредитите варират". Ще видите това в контролите за изпълнение, преди да стартирате работен процес.
\nПри задържане или разгъване на индикатора се показва кои възли във вашия граф допринасят за променливостта, така че можете да прегледате работния процес преди да го изпълните.
Какво потвърждавате, когато изпълнявате работен процес?
Изпълнението на работен процес с варираща цена на кредитите е ваше потвърждение, че:
Можете да прегледате генеративните си кредити по всяко време, като погледнете баланса си, и винаги трябва да наблюдавате изпълнението на графа, когато започне да се обработва, за да идентифицирате случаи, в които се изпълняват повече итерации, отколкото очаквате.
Управление на неопределените разходи
Няколко практични начина да запазите контрол:
