Algunas operaciones en Firefly Graph tienen costos que no se pueden calcular por adelantado.Cuando este sea el caso, verá un indicador Los créditos varían junto al botón Ejecutar en lugar de una estimación fija de créditos.Esta sección explica qué significa eso, por qué sucede y qué se espera del usuario cuando ejecuta un flujo de trabajo con costes indeterminados.
¿Qué significa "Los créditos varían"?
Un nodo estándar tiene un costo predecible. Si se ejecuta un nodo de generación de imagen que produce una imagen de 1024×1024, Firefly Graph conoce el coste y lo muestra antes de ejecutarlo.
Un nodo de coste indeterminado es diferente: Graph puede confirmar que se consumirán créditos, pero el total exacto no puede conocerse hasta que el flujo de trabajo termine de ejecutarse.El coste real se calcula a partir del uso real y se concilia con su cuenta una vez que se completa la ejecución.
¿Por qué no se pueden predecir algunos costos?
Hay dos razones distintas por las que un flujo de trabajo puede tener costos indeterminados.
- El nodo en sí produce resultados variables: Algunos nodos son no deterministas por diseño. El ejemplo más claro es un nodo de modelo de lenguaje de gran tamaño: el coste depende de cuántos tokens genere el modelo en respuesta a su indicación, y eso no se sabe hasta que se complete la generación. Una respuesta corta y una respuesta larga cuestan cantidades diferentes, y Graph no tiene forma de predecir cuál producirá el modelo. Otros nodos de esta categoría incluyen aquellos que devuelven un número variable de elementos (por ejemplo, un nodo de segmentación de entidades que devuelve tantas entidades como encuentre en una imagen de entrada) o nodos cuya estructura de salida depende del contenido de la entrada.
- El gráfico ejecuta el nodo un número variable de veces: Incluso un nodo con un coste fijo por ejecución puede volverse indeterminado cuando se usa dentro de un contexto de lista, bucle o flujo. Si un nodo se ejecuta una vez por elemento en una lista upstream, y el tamaño de esa lista se produce por un nodo no determinista anterior, el número total de ejecuciones (y por tanto el coste total) no se puede calcular hasta que se ejecute el flujo de trabajo. Esto es común en flujos de trabajo que se expanden: un nodo de segmentación devuelve N entidades, y un nodo de generación posterior se ejecuta una vez por entidad. Tanto el recuento como el coste por elemento contribuyen a un total que solo se puede conocer a posteriori.
Cómo se muestran los costes indeterminados
Siempre que un flujo de trabajo contenga al menos un nodo de coste indeterminado o tenga rutas de ejecución que produzcan recuentos de invocación variables, Graph reemplaza la estimación de crédito habitual con la etiqueta Los créditos varían. Verá esto en los controles de Ejecutar antes de iniciar un flujo de trabajo.
Al pasar el cursor o expandir el indicador se muestran los nodos del gráfico que contribuyen a la variabilidad, de modo que se puede inspeccionar el flujo de trabajo antes de ejecutarlo.
¿Qué está reconociendo cuando ejecuta un flujo de trabajo?
Ejecutar un flujo de trabajo con Los créditos varían es su reconocimiento de que:
Puede revisar sus créditos generativos en cualquier momento consultando su saldo, y siempre debe monitorizar la ejecución del gráfico cuando comience a procesar para identificar casos donde esté ejecutando más iteraciones de las que esperaría.
Administración de costes indeterminados
Algunas formas prácticas de mantener el control:
