Деякі операції в Firefly Graph мають витрати, які не можна розрахувати заздалегідь.У такому випадку ви побачите індикатор Кредити варіюються поруч із кнопкою «Запустити» замість фіксованої оцінки кредитів.У цьому розділі пояснюється, що це означає, чому це відбувається та що від вас очікується під час запуску процесу з невизначеними витратами.
Що означає «Кількість кредитів відрізняється»?
Стандартний вузол має передбачувану вартість.Якщо ви запускаєте вузол генерації зображень, який створює одне зображення 1024×1024, Firefly Graph знає, скільки це коштує, і показує вам вартість перед запуском.
Вузол із невизначеною вартістю відрізняється: система Graph може підтвердити, що кредити будуть спожиті, але точну загальну суму можна дізнатися лише після завершення виконання процесу.Фактична вартість розраховується на основі реального використання та узгоджується з вашим обліковим записом після завершення запуску.
Чому деякі витрати неможливо передбачити?
Існують дві різні причини, чому процес може мати невизначені витрати.
- Сам вузол створює змінний вихід: деякі вузли за задумом є недетермінованими. Найяскравіший приклад — вузол великої мовної моделі. Вартість залежить від кількості токенів, які модель генерує у відповідь на ваш запит, і це невідомо до завершення генерації.Коротка відповідь і довга відповідь коштують по-різному, і Graph не може передбачити, яку саме створить модель. Інші вузли цієї категорії включають ті, що повертають змінну кількість елементів (наприклад, вузол сегментації сутностей, який повертає стільки сутностей, скільки знайде у вхідному зображенні) або вузли, структура виходу яких залежить від вмісту входу.
- Граф запускає вузол змінну кількість разів: навіть вузол із фіксованою вартістю за виконання може стати невизначеним, коли використовується в контексті списку, циклу або потоку. Якщо вузол запускається один раз для кожного елемента у вищому списку, а розмір цього списку сам створюється попереднім недетермінованим вузлом, загальну кількість виконань – і, отже, загальну вартість – неможливо розрахувати до запуску процесу. Це поширено в процесах, що розгалужуються: вузол сегментації повертає N сутностей, а нижчий вузол генерації запускається один раз для кожної сутності. І кількість, і вартість за елемент сприяють загальній сумі, яку можна дізнатися лише після факту.
Як відображаються невизначені витрати
Коли процес містить принаймні один вузол із невизначеною вартістю або має шляхи виконання, що створюють змінну кількість викликів, Graph замінює звичайну оцінку кредитів міткою «Кредити варіюються». Ви побачите це в елементах керування «Запустити» перед початком процесу.
Наведення або розгортання індикатора показує, які вузли у вашому графі сприяють варіативності, тож ви можете перевірити процес перед його запуском.
Що ви підтверджуєте, запускаючи процес?
Запуск процесу з «Кредити варіюються» — це ваше підтвердження того, що:
Ви можете переглянути свої генеративні кредити в будь-який час, перевіривши баланс, і завжди слід відстежувати виконання графіка на початку обробки, щоб виявити випадки, коли він виконує більше ітерацій, ніж очікувалося.
Керування невизначеними витратами
Кілька практичних способів зберегти контроль:
