Joidenkin Firefly Graph -toimintojen kustannuksia ei voida laskea etukäteen. Tässä tapauksessa näet Krediittien määrä vaihtelee -merkinnän Suorita-painikkeen vieressä kiinteän kustannusarvion sijaan. Tämä osio selittää, mitä tämä tarkoittaa, miksi näin tapahtuu ja mitä sinulta odotetaan, kun suoritat työnkulun, jonka kustannukset eivät ole ennalta tiedossa.
Mitä ”Krediittien määrä vaihtelee” tarkoittaa?
Vakiosolmun kustannukset ovat ennustettavissa. Jos suoritat kuvangenerointisolmun, joka tuottaa yhden 1 024 × 1 024 -kuvan, Firefly Graph tietää, mitä se maksaa, ja näyttää kustannukset ennen suorittamista.
Määrittelemättömien kustannusten solmu on erilainen: Graph voi vahvistaa, että krediittejä kulutetaan, mutta tarkkaa kokonaismäärää ei voida tietää ennen kuin työnkulku on suoritettu loppuun. Todelliset kustannukset lasketaan todellisen käytön perusteella ja täsmäytetään tiliäsi vastaan suorituksen valmistuttua.
Miksi joitakin kustannuksia ei voida ennustaa?
Työnkululla voi olla määrittelemättömät kustannukset kahdesta eri syystä.
- Solmu itse tuottaa vaihtelevia tuloksia: Jotkin solmut ovat tarkoituksella ei-deterministisia. Selkein esimerkki on suuren kielimallin solmu – kustannus riippuu siitä, kuinka monta tokenia malli generoi vastauksena kehotteeseesi, eikä sitä tiedetä ennen kuin generointi on valmis. Lyhyt vastaus ja pitkä vastaus maksavat eri summan, eikä Graphilla ole tapaa ennustaa, kumman malli tuottaa. Muita tämän kategorian solmuja ovat ne, jotka palauttavat muuttuvan määrän kohteita (esimerkiksi entiteettisegmentointisolmu, joka palauttaa niin monta entiteettiä kuin syötekuvasta löytää) tai solmut, joiden tulosrakenne riippuu syötteen sisällöstä.
- Kaavio suorittaa solmun muuttuvan määrän kertoja: Jopa solmu, jolla on kiinteä suorituskohtainen kustannus, voi muuttua määrittelemättömäksi, kun sitä käytetään listan, silmukan tai virran kontekstissa. Jos solmu suoritetaan kerran jokaista ylävirtaan olevan listan kohdetta kohti ja kyseisen listan koko on itsessään aikaisemman ei-deterministisen solmun tuottama, suoritusten kokonaismäärää – ja siten kokonaiskustannusta – ei voida laskea ennen kuin työnkulku suoritetaan. Tämä on yleistä työnkuluissa, jotka haarautuvat: segmentointisolmu palauttaa N entiteettiä, ja alavirtaan oleva generointisolmu suoritetaan kerran entiteettiä kohti. Sekä määrä että kohdekohtainen kustannus vaikuttavat kokonaissummaan, joka on tiedossa vasta jälkikäteen.
Miten määrittelemättömät kustannukset näytetään
Aina kun työnkulku sisältää vähintään yhden määrittelemättömän kustannuksen solmun tai sillä on suorituspolkuja, jotka tuottavat muuttuvia kutsumääriä, Graph korvaa tavallisen krediittiarvion Krediittien määrä vaihtelee -merkinnällä. Näet tämän Suorita-säätimissä ennen työnkulun käynnistämistä.
Osoittimen vieminen indikaattorin päälle tai sen laajentaminen näyttää, mitkä Graphin solmut vaikuttavat vaihteluun. Näin voit tarkastaa työnkulun ennen sen suorittamista.
Mitä hyväksyt suorittaessasi työnkulun?
Suorittamalla työnkulun Krediittien määrä vaihtelee -asetuksella hyväksyt seuraavat:
Voit tarkistaa generatiiviset krediittisi milloin tahansa katsomalla saldoasi. Sinun kannattaa aina valvoa kaavion suoritusta sen käynnistyessä, jotta voit tunnistaa tapaukset, joissa se suorittaa enemmän iteraatioita kuin odottaisit.
Määrittelemättömien kustannusten hallinta
Muutama käytännöllinen tapa pysyä hallinnassa: