Beberapa operasi di Firefly Graph memiliki biaya yang tidak dapat dihitung sebelumnya.Saat hal itu terjadi, Anda akan melihat indikator Kredit bervariasi di sebelah tombol Run alih-alih perkiraan kredit tetap.Bagian ini menjelaskan apa artinya, mengapa hal itu terjadi, dan apa yang diharapkan dari Anda saat menjalankan alur kerja dengan biaya yang tidak ditentukan.
Apa arti "Kredit bervariasi"?
Node standar memiliki biaya yang dapat diprediksi.Jika Anda menjalankan node pembuatan gambar yang menghasilkan satu gambar berukuran 1024×1024, Firefly Graph mengetahui biayanya dan menampilkan biaya tersebut sebelum Anda menjalankannya.
Node dengan biaya tidak ditentukan berbeda: Graph dapat mengonfirmasi bahwa kredit akan dikonsumsi, tetapi total yang tepat tidak dapat diketahui sampai alur kerja selesai dieksekusi.Biaya aktual dihitung dari penggunaan nyata dan direkonsiliasi dengan akun Anda setelah proses selesai.
Mengapa beberapa biaya tidak dapat diprediksi?
Ada dua alasan berbeda mengapa alur kerja mungkin memiliki biaya yang tidak dapat ditentukan.
- Node itu sendiri menghasilkan output yang bervariasi: Beberapa node memang dirancang non-deterministik.Contoh yang paling jelas adalah node model bahasa besar—biayanya bergantung pada jumlah token yang dihasilkan model sebagai respons terhadap prompt Anda, dan hal itu baru diketahui setelah proses pembuatan selesai.Jawaban pendek dan jawaban panjang memiliki biaya yang berbeda, dan Graph tidak memiliki cara untuk memprediksi mana yang akan dihasilkan model.Node lain dalam kategori ini termasuk yang mengembalikan jumlah item yang bervariasi (misalnya, node segmentasi entitas yang mengembalikan berapa pun entitas yang ditemukannya dalam citra input) atau node yang struktur outputnya bergantung pada konten input.
- Graph menjalankan node tersebut dengan jumlah yang berubah-ubah: bahkan node dengan biaya tetap per eksekusi bisa menjadi tidak dapat dipastikan ketika digunakan dalam konteks list, loop, atau stream.Jika node berjalan sekali per item dalam daftar upstream, dan ukuran daftar tersebut sendiri dihasilkan oleh node non-deterministik sebelumnya, total jumlah eksekusi — dan oleh karena itu total biaya — tidak dapat dihitung sampai alur kerja berjalan.Ini umum terjadi dalam alur kerja yang menyebar: node segmentasi mengembalikan N entitas, dan node generasi downstream berjalan sekali per entitas.Baik jumlah maupun biaya per item berkontribusi pada total yang hanya dapat diketahui setelahnya.
Bagaimana biaya yang tidak dapat ditentukan ditampilkan
Setiap kali alur kerja berisi setidaknya satu node dengan biaya tidak dapat ditentukan atau memiliki jalur eksekusi yang menghasilkan jumlah pemanggilan yang bervariasi, Graph mengganti estimasi kredit biasa dengan label Kredit bervariasi. Anda akan melihat ini di kontrol Run sebelum memulai alur kerja.
Mengarahkan kursor atau memperluas indikator menunjukkan node mana dalam graph Anda yang berkontribusi pada variabilitas, sehingga Anda dapat memeriksa alur kerja sebelum menjalankannya.
Apa yang Anda akui ketika menjalankan alur kerja?
Dengan menjalankan alur kerja berstatus Kredit bervariasi, Anda mengakui bahwa:
Anda dapat memeriksa kredit generatif kapan saja dengan melihat saldo Anda, dan sebaiknya selalu memantau eksekusi graph saat proses dimulai untuk mengidentifikasi kasus ketika graph berjalan dengan jumlah iterasi yang melebihi perkiraan Anda.
Mengelola biaya yang tidak dapat ditentukan
Beberapa cara praktis untuk tetap terkendali:
