Một số thao tác trong Firefly Graph có chi phí không thể tính toán trước. Khi đó, bạn sẽ thấy chỉ báo Tín dụng thay đổi bên cạnh nút Chạy thay vì ước tính tín dụng cố định. Phần này giải thích điều đó có nghĩa gì, tại sao điều đó xảy ra và những gì được mong đợi từ bạn khi chạy quy trình làm việc với chi phí chưa xác định.
“Tín dụng thay đổi” có nghĩa gì?
Một nút tiêu chuẩn có chi phí có thể dự đoán được. Nếu bạn chạy nút tạo hình ảnh tạo ra một hình ảnh 1024×1024, Firefly Graph biết chi phí đó và hiển thị cho bạn chi phí trước khi bạn chạy.
Nút có chi phí chưa xác định thì khác: Graph có thể xác nhận rằng tín dụng sẽ được sử dụng, nhưng không biết tổng số chính xác cho đến khi hoàn tất thực thi quy trình công việc. Chi phí thực tế được tính toán từ việc sử dụng thực tế và được đối chiếu với tài khoản của bạn sau khi quá trình chạy hoàn tất.
Tại sao một số chi phí không thể dự đoán được?
Có hai lý do riêng biệt khiến quy trình làm việc có thể có chi phí không xác định.
- Bản thân nút tạo ra kết quả thay đổi: Một số nút được thiết kế không xác định. Ví dụ rõ ràng nhất là nút mô hình ngôn ngữ lớn – chi phí phụ thuộc vào số lượng token mà mô hình tạo ra để phản hồi câu lệnh của bạn và điều này không được biết cho đến khi quá trình tạo hoàn tất. Câu trả lời ngắn và câu trả lời dài có chi phí khác nhau và Graph không có cách nào để dự đoán mô hình sẽ tạo ra câu trả lời nào. Các nút khác trong danh mục này bao gồm những nút trả về số lượng mục không cố định (ví dụ: nút phân đoạn thực thể trả về bao nhiêu thực thể tìm thấy trong hình ảnh đầu vào) hoặc các nút có cấu trúc đầu ra phụ thuộc vào nội dung đầu vào.
- Biểu đồ chạy nút với số lần thay đổi: Ngay cả nút có chi phí cố định cho mỗi lần thực thi cũng có thể trở nên không xác định khi được sử dụng trong ngữ cảnh danh sách, vòng lặp hoặc luồng. Nếu một nút chạy một lần cho mỗi mục trong danh sách ngược dòng và kích thước của danh sách đó được tạo ra bởi một nút không xác định trước đó, tổng số lần thực thi – và do đó tổng chi phí – không thể được tính toán cho đến khi quy trình làm việc chạy. Điều này phổ biến trong các quy trình làm việc mở rộng: một nút phân đoạn trả về N thực thể và một nút tạo sinh ở phía sau chạy một lần cho mỗi thực thể. Cả số lượng và chi phí cho mỗi mục đều góp phần vào tổng chi phí chỉ có thể biết được sau khi hoàn thành toàn bộ quá trình.
Cách hiển thị chi phí không xác định
Bất cứ khi nào quy trình làm việc chứa ít nhất một nút có chi phí không xác định hoặc có đường dẫn thực thi tạo ra số lần gọi thay đổi, Graph sẽ thay thế ước tính tín dụng thông thường bằng nhãn Tín dụng thay đổi. Bạn sẽ thấy điều này trong điều khiển Chạy trước khi bắt đầu quy trình làm việc.
Di chuột hoặc mở rộng chỉ báo sẽ hiển thị những nút nào trong biểu đồ của bạn góp phần vào sự thay đổi, để bạn có thể kiểm tra quy trình làm việc trước khi chạy.
Bạn đang xác nhận điều gì khi chạy quy trình làm việc?
Chạy quy trình làm việc với Tín dụng thay đổi là sự xác nhận của bạn rằng:
Bạn có thể kiểm tra tín dụng tạo sinh của mình bất cứ lúc nào bằng cách xem số dư và bạn nên luôn theo dõi việc thực thi biểu đồ khi bắt đầu xử lý để xác định các trường hợp chạy nhiều vòng lặp hơn mong đợi.
Quản lý chi phí không xác định
Một vài cách thực tế để duy trì kiểm soát:
