Algumas operações no Firefly Gráfico têm custos que não podem ser calculados antecipadamente. Quando esse for o caso, você verá um indicador Créditos variam ao lado do botão Executar em vez de uma estimativa fixa de crédito. Esta seção explica o que isso significa, por que acontece e o que se espera de você ao executar um fluxo de trabalho com custos indeterminados.
O que significa “Os créditos variam”?
Um nó padrão tem um custo previsível. Se você executar um nó de geração de imagem que produz uma imagem de 1024×1024, o Firefly Gráfico sabe quanto isso custa e mostra o custo antes de você executá-lo.
Um nó de custo indeterminado é diferente: o Gráfico pode confirmar que os créditos serão consumidos, mas o total exato não pode ser conhecido até que o fluxo de trabalho termine de ser executado. O custo real é calculado com base no uso efetivo e lançado na sua conta assim que o processo for concluído.
Por que alguns custos não podem ser previstos?
Há duas razões distintas pelas quais um fluxo de trabalho pode ter custos indeterminados.
- O próprio nó produz uma saída variável: alguns nós são, por definição, não determinísticos. O exemplo mais claro é um nó de modelo de linguagem de grande porte, o custo depende da quantidade de tokens que o modelo gera em resposta ao seu prompt, e isso só se sabe quando a geração estiver concluída. Uma resposta curta e uma resposta longa custam valores diferentes, e o Graph não tem como prever qual delas o modelo produzirá. Outros nós nesta categoria incluem aqueles que retornam um número variável de itens (por exemplo, um nó de segmentação de entidades que retorna o número de entidades encontradas em uma imagem de entrada) ou nós cuja estrutura de saída depende do conteúdo da entrada.
- O gráfico executa o nó um número variável de vezes: até mesmo um nó com um custo fixo por execução pode se tornar indeterminado quando é usado dentro de uma lista, loop ou contexto de fluxo. Se um nó é executado uma vez por item em uma lista upstream, e o tamanho dessa lista é produzido por um nó não determinístico anterior, o número total de execuções — e, portanto, o custo total — não pode ser calculado até que o fluxo de trabalho seja executado. Isso é comum em fluxos de trabalho que se expandem: um nó de segmentação retorna N entidades, e um nó de geração downstream é executado uma vez por entidade. Tanto a contagem quanto o custo por item contribuem para um total que só é conhecido posteriormente.
Como os custos indeterminados são apresentados
Sempre que um fluxo de trabalho contém pelo menos um nó de custo indeterminado ou possui caminhos de execução que geram contagens variáveis de invocações, o Gráfico substitui a estimativa habitual de créditos pela etiqueta “Créditos variáveis”. Você verá isso nos controles de execução antes de iniciar um fluxo de trabalho.
Posicionar o cursor ou expandir o indicador mostra quais nós no seu gráfico contribuem para a variabilidade, para que você possa inspecionar o fluxo de trabalho antes de executá-lo.
O que você reconhece ao executar um fluxo de trabalho?
Executar um fluxo de trabalho com créditos variáveis é seu reconhecimento de que:
Você pode verificar seus créditos de geração a qualquer momento consultando seu saldo e deve sempre acompanhar a execução do gráfico assim que ele começar a ser processado, a fim de identificar casos em que ele esteja executando mais iterações do que o esperado.
Gerenciamento de custos indeterminados
Algumas maneiras práticas de manter o controle:
