Nekatere operacije v Firefly Graph imajo stroške, ki jih ni mogoče vnaprej izračunati. V tem primeru boste poleg gumba Zaženi videli kazalnik Kreditne točke se razlikujejo namesto fiksne ocene kreditnih točk. Ta razdelek pojasnjuje, kaj to pomeni, zakaj se to zgodi in kaj se od vas pričakuje, ko zaženete potek dela z nedoločenimi stroški.
Kaj pomeni »Kreditne točke se razlikujejo«?
Standardno vozlišče ima predvidljive stroške. Če zaženete vozlišče za generiranje slik, ki ustvari eno sliko 1024×1024, Firefly Graph ve, koliko to stane, in vam prikaže stroške, preden ga zaženete.
Vozlišče z nedoločenimi stroški je drugačno: Graph lahko potrdi, da bodo kreditne točke porabljene, vendar natančnega skupnega zneska ni mogoče vedeti, dokler se potek dela ne konča z izvajanjem. Dejanski stroški se izračunajo iz dejanske uporabe in uskladijo z vašim računom, ko se izvajanje konča.
Zakaj nekaterih stroškov ni mogoče napovedati?
Obstajata dva različna razloga, zakaj ima potek dela lahko nedoločene stroške.
- Vozlišče samo ustvarja spremenljiv izhod: nekatera vozlišča so po zasnovi nedeterministična. Najjasnejši primer je vozlišče velikega jezikovnega modela – stroški so odvisni od tega, koliko žetonov model ustvari kot odziv na vaš poziv, to pa ni znano, dokler se generiranje ne konča. Kratek odgovor in dolg odgovor staneta različno, Graph pa nima možnosti napovedati, katerega bo model ustvaril. Druga vozlišča v tej kategoriji vključujejo tista, ki vrnejo spremenljivo število postavk (na primer vozlišče za segmentacijo entitet, ki vrne toliko entitet, kolikor jih najde v vhodni sliki) ali vozlišča, katerih izhodna struktura je odvisna od vsebine vhoda.
- Graf zažene vozlišče spremenljivo številokrat: tudi vozlišče s fiksnimi stroški na izvedbo lahko postane nedoločeno, ko se uporablja v kontekstu seznama, zanke ali pretoka. Če se vozlišče zažene enkrat na postavko v nadrejenem seznamu in je velikost tega seznama sama ustvarjena z zgodnejšim nedeterminističnim vozliščem, skupnega števila izvedb – in s tem skupnih stroškov – ni mogoče izračunati, dokler se potek dela ne zažene. To je pogosto v potekih dela, ki se razširjajo: vozlišče za segmentacijo vrne N-entitet, spodnje vozlišče za generiranje pa se zažene enkrat na entiteto. Tako število kot stroški na postavko prispevajo k skupnemu znesku, ki ga je mogoče poznati šele naknadno.
Kako se prikazujejo nedoločeni stroški
Kadar koli potek dela vsebuje vsaj eno vozlišče z nedoločenimi stroški ali ima poti izvedbe, ki ustvarjajo spremenljivo število klicev, Graph nadomesti običajno oceno kreditnih točk z oznako »Credits vary«. To boste videli v kontrolah zagona, preden zaženete potek dela.
Ko se postavite nad kazalnik ali ga razširite, se prikaže, katera vozlišča v vašem grafu prispevajo k spremenljivosti, tako da lahko pregledate potek dela, preden ga zaženete.
Kaj potrjujete, ko zaženete potek dela?
Ob zagonu poteka dela s kreditnimi točkami potrjujete naslednje:
Svoje kreditne točke za generativno umetno inteligenco lahko kadar koli pregledate tako, da si ogledate svoje stanje, vedno pa morate spremljati izvajanje grafa, ko se začne obdelovati, da prepoznate primere, ko se izvaja več ponavljanj, kot bi pričakovali.
Upravljanje nedoločenih stroškov
Nekaj praktičnih načinov za ohranjanje nadzora:
