การดำเนินการบางอย่างใน Firefly Graph มีต้นทุนที่ไม่สามารถคำนวณล่วงหน้าได้เมื่อเป็นเช่นนั้น จะเห็นตัวบ่งชี้ เครดิตแตกต่างกัน ถัดจากปุ่ม Run แทนที่จะเป็นการประเมินเครดิตคงที่ในส่วนนี้จะอธิบายความหมาย สาเหตุที่เกิดขึ้น และสิ่งที่คาดหวังจากคุณเมื่อรันเวิร์กโฟลว์ที่มีต้นทุนไม่แน่นอน
"เครดิตแตกต่างกัน" หมายความว่าอย่างไร?
โหนดมาตรฐานมีต้นทุนที่คาดการณ์ได้หากรันโหนดสร้างรูปภาพที่ผลิตรูปภาพขนาด 1024×1024 หนึ่งภาพ Firefly Graph จะทราบค่าใช้จ่ายและแสดงค่าใช้จ่ายก่อนรันโหนดนั้น
โหนดที่มีต้นทุนไม่แน่นอนจะแตกต่างออกไป: Graph สามารถยืนยันได้ว่าจะมีการใช้เครดิต แต่ยอดรวมที่แน่นอนไม่สามารถทราบได้จนกว่าเวิร์กโฟลว์จะดำเนินการเสร็จสิ้นต้นทุนจริงจะถูกคำนวณจากการใช้งานจริงและจะถูกกระทบยอดกับบัญชีเมื่อการรันเสร็จสมบูรณ์
เหตุใดต้นทุนบางอย่างจึงไม่สามารถคาดการณ์ได้
มีเหตุผลที่แตกต่างกันสองประการที่เวิร์กโฟลว์อาจมีต้นทุนที่ไม่แน่นอน
- ตัวโหนดเองสร้างผลลัพธ์ที่แตกต่างกัน: โหนดบางตัวได้รับการออกแบบมาให้ไม่สามารถคาดเดาได้ ตัวอย่างที่ชัดเจนที่สุดคือโหนดโมเดลภาษาขนาดใหญ่ — ต้นทุนขึ้นอยู่กับจำนวนโทเค็นที่โมเดลสร้างเพื่อตอบสนองต่อพรอมต์ และไม่สามารถทราบได้จนกว่าการสร้างจะเสร็จสมบูรณ์คำตอบสั้นและคำตอบยาวมีต้นทุนที่แตกต่างกัน และ Graph ไม่มีทางทำนายได้ว่าโมเดลจะสร้างคำตอบแบบไหนโหนดอื่นๆ ในหมวดหมู่นี้รวมถึงโหนดที่ส่งคืนรายการจำนวนแปรผัน (เช่น โหนดแบ่งส่วนเอนทิตีที่ส่งคืนเอนทิตีจำนวนเท่าใดก็ตามที่พบในรูปภาพอินพุต) หรือโหนดที่โครงสร้างผลลัพธ์ขึ้นอยู่กับเนื้อหาของอินพุต
- กราฟเรียกใช้โหนดจำนวนครั้งที่แปรผัน: แม้แต่โหนดที่มีต้นทุนต่อการดำเนินการคงที่ก็สามารถกลายเป็นไม่แน่นอนได้เมื่อใช้ภายในบริบทของรายการ ลูป หรือสตรีมหากโหนดทำงานหนึ่งครั้งต่อรายการหนึ่งรายการในรายการต้นทาง และขนาดของรายการนั้นถูกสร้างโดยโหนดที่ไม่แน่นอนก่อนหน้านี้ จำนวนการดำเนินการทั้งหมด — และดังนั้นต้นทุนทั้งหมด — จึงไม่สามารถคำนวณได้จนกว่าเวิร์กโฟลว์จะทำงานสิ่งนี้พบได้บ่อยในเวิร์กโฟลว์ที่กระจายออกไป: โหนดแบ่งส่วนจะส่งคืนเอนทิตีเป็นจำนวน N ตัว และโหนดการสร้างที่ปลายทางจะทำงานหนึ่งครั้งต่อเอนทิตี ทั้งจำนวนและต้นทุนต่อรายการมีส่วนทำให้เกิดผลรวมที่ทราบได้เฉพาะหลังจากเกิดขึ้นแล้วเท่านั้น
การแสดงต้นทุนที่ไม่แน่นอน
เมื่อใดก็ตามที่เวิร์กโฟลว์มีโหนดต้นทุนไม่แน่นอนอย่างน้อยหนึ่งโหนด หรือมีเส้นทางการดำเนินการที่สร้างจำนวนการเรียกใช้แปรผัน Graph จะแทนที่การประเมินเครดิตปกติด้วยป้ายกำกับ Credits vary คุณจะเห็นสิ่งนี้ในตัวควบคุม Run ก่อนที่คุณจะเริ่มเวิร์กโฟลว์
การวางเมาส์หรือขยายตัวบ่งชี้จะแสดงโหนดในกราฟที่มีส่วนทำให้เกิดความแปรผัน เพื่อให้สามารถตรวจสอบเวิร์กโฟลว์ก่อนเรียกใช้
เมื่อเรียกใช้เวิร์กโฟลว์แสดงว่าคุณกำลังยอมรับสิ่งใด
การเรียกใช้เวิร์กโฟลว์ที่มีเครดิตแบบผันแปรถือเป็นการยอมรับว่า:
คุณสามารถตรวจสอบเครดิต AI ของคุณได้ตลอดเวลาโดยการดูยอดคงเหลือ และคุณควรเฝ้าสังเกตการดำเนินการของกราฟอยู่เสมอเมื่อเริ่มการประมวลผลเพื่อระบุกรณีที่มีการวนซ้ำมากกว่าที่คุณคาดหวัง
การจัดการต้นทุนที่ไม่แน่นอน
วิธีปฏิบัติเพื่อให้อยู่ในการควบคุม:
