การดำเนินการบางอย่างใน Firefly Graph มีต้นทุนที่ไม่สามารถคำนวณล่วงหน้าได้ เมื่อเป็นเช่นนั้น จะเห็นตัวบ่งชี้ เครดิตแตกต่างกัน ถัดจากปุ่ม Run แทนที่จะเป็นการประเมินเครดิตคงที่ ในส่วนนี้จะอธิบายความหมาย สาเหตุที่เกิดขึ้น และสิ่งที่คาดหวังจากคุณเมื่อรันเวิร์กโฟลว์ที่มีต้นทุนไม่แน่นอน
"เครดิตแตกต่างกัน" หมายความว่าอย่างไร?
โหนดมาตรฐานมีต้นทุนที่คาดการณ์ได้ หากรันโหนดสร้างรูปภาพที่ผลิตรูปภาพขนาด 1024×1024 หนึ่งภาพ Firefly Graph จะทราบค่าใช้จ่ายและแสดงค่าใช้จ่ายก่อนรันโหนดนั้น
โหนดที่มีต้นทุนไม่แน่นอนจะแตกต่างออกไป: Graph สามารถยืนยันได้ว่าจะมีการใช้เครดิต แต่ยอดรวมที่แน่นอนไม่สามารถทราบได้จนกว่าเวิร์กโฟลว์จะดำเนินการเสร็จสิ้น ต้นทุนจริงจะถูกคำนวณจากการใช้งานจริงและจะถูกกระทบยอดกับบัญชีเมื่อการรันเสร็จสมบูรณ์
เหตุใดต้นทุนบางอย่างจึงไม่สามารถคาดการณ์ได้
มีเหตุผลที่แตกต่างกันสองประการที่เวิร์กโฟลว์อาจมีต้นทุนที่ไม่แน่นอน
- ตัวโหนดเองสร้างผลลัพธ์ที่แตกต่างกัน: โหนดบางตัวได้รับการออกแบบมาให้ไม่สามารถคาดเดาได้ ตัวอย่างที่ชัดเจนที่สุดคือโหนดโมเดลภาษาขนาดใหญ่ — ต้นทุนขึ้นอยู่กับจำนวนโทเค็นที่โมเดลสร้างเพื่อตอบสนองต่อพรอมต์ และไม่สามารถทราบได้จนกว่าการสร้างจะเสร็จสมบูรณ์ คำตอบสั้นและคำตอบยาวมีต้นทุนที่แตกต่างกัน และ Graph ไม่มีทางทำนายได้ว่าโมเดลจะสร้างคำตอบแบบไหน โหนดอื่นๆ ในหมวดหมู่นี้รวมถึงโหนดที่ส่งคืนรายการจำนวนแปรผัน (เช่น โหนดแบ่งส่วนเอนทิตีที่ส่งคืนเอนทิตีจำนวนเท่าใดก็ตามที่พบในรูปภาพอินพุต) หรือโหนดที่โครงสร้างผลลัพธ์ขึ้นอยู่กับเนื้อหาของอินพุต
- กราฟเรียกใช้โหนดจำนวนครั้งที่แปรผัน: แม้แต่โหนดที่มีต้นทุนต่อการดำเนินการคงที่ก็สามารถกลายเป็นไม่แน่นอนได้เมื่อใช้ภายในบริบทของรายการ ลูป หรือสตรีม หากโหนดทำงานหนึ่งครั้งต่อรายการหนึ่งรายการในรายการต้นทาง และขนาดของรายการนั้นถูกสร้างโดยโหนดที่ไม่แน่นอนก่อนหน้านี้ จำนวนการดำเนินการทั้งหมด — และดังนั้นต้นทุนทั้งหมด — จึงไม่สามารถคำนวณได้จนกว่าเวิร์กโฟลว์จะทำงาน สิ่งนี้พบได้บ่อยในเวิร์กโฟลว์ที่กระจายออกไป: โหนดแบ่งส่วนจะส่งคืนเอนทิตีเป็นจำนวน N ตัว และโหนดการสร้างที่ปลายทางจะทำงานหนึ่งครั้งต่อเอนทิตี ทั้งจำนวนและต้นทุนต่อรายการมีส่วนทำให้เกิดผลรวมที่ทราบได้เฉพาะหลังจากเกิดขึ้นแล้วเท่านั้น
ต้นทุนที่ไม่สามารถระบุได้จะปรากฏขึ้นได้อย่างไร
เมื่อใดก็ตามที่เวิร์กโฟลว์มีโหนดต้นทุนไม่แน่นอนอย่างน้อยหนึ่งโหนด หรือมีเส้นทางการดำเนินการที่สร้างจำนวนการเรียกใช้แปรผัน Graph จะแทนที่การประเมินเครดิตปกติด้วยป้ายกำกับ Credits vary คุณจะเห็นสิ่งนี้ในตัวควบคุม Run ก่อนที่คุณจะเริ่มเวิร์กโฟลว์ การวางเมาส์หรือขยายตัวบ่งชี้จะแสดงโหนดในกราฟที่มีส่วนทำให้เกิดความแปรผัน เพื่อให้สามารถตรวจสอบเวิร์กโฟลว์ก่อนเรียกใช้
เมื่อเรียกใช้เวิร์กโฟลว์แสดงว่าคุณกำลังยอมรับสิ่งใด
การเรียกใช้เวิร์กโฟลว์ที่มีเครดิตแบบผันแปรถือเป็นการยอมรับว่า:
- ต้นทุนเครดิตที่แน่นอนจะถูกกำหนดโดยการดำเนินการจริง
- เครดิตจะถูกใช้ตามการใช้งานจริงและหักออกจากบัญชีเมื่อการทำงานเสร็จสมบูรณ์
- คุณได้ตรวจสอบเวิร์กโฟลว์แล้วและยอมรับว่าผลรวมอาจสูงกว่าหรือต่ำกว่าเวิร์กโฟลว์ต้นทุนคงที่ที่เปรียบเทียบได้
คุณสามารถตรวจสอบเครดิต AI ของคุณได้ตลอดเวลาโดยการดูยอดคงเหลือ และคุณควรเฝ้าสังเกตการดำเนินการของกราฟอยู่เสมอเมื่อเริ่มการประมวลผลเพื่อระบุกรณีที่มีการวนซ้ำมากกว่าที่คุณคาดหวัง
การจัดการต้นทุนที่ไม่แน่นอน
วิธีปฏิบัติเพื่อให้อยู่ในการควบคุม:
- ทดสอบกับอินพุตขนาดเล็กก่อน เรียกใช้เวิร์กโฟลว์หนึ่งครั้งด้วยข้อมูลนำเข้าขั้นต่ำเพื่อทำความเข้าใจต้นทุนทั่วไปก่อนเรียกใช้ในขนาดใหญ่
- ตรวจสอบแหล่งที่มาของความแปรผัน ตัวบ่งชี้การเปลี่ยนแปลงเครดิตจะแสดงให้คุณทราบถึงโหนดที่รับผิดชอบ ซึ่งในบางครั้ง การเปลี่ยนแปลงกราฟเล็กน้อยก็เพียงพอที่จะทำให้เวิร์กโฟลว์คาดการณ์ได้อีกครั้ง
