Većina platformi umjetne inteligencije prišarafi stvaranje medija naknadno. Zasebna kartica, zaseban API ključ, model naplate koji nema veze s vašim saldom razgovora. ToRun zauzima drukčiji stav: stvaranje slika, videa i glazbe načini su rada — ista punopravna površina proizvoda kao Razgovor ili Kod — i prolaze točno isto usmjeravanje prema sposobnostima i isti cjevovod naplate kao i svaki drugi poziv.
Ovaj tekst objašnjava mehaniku i zašto je važna.
Kako cjevovod usmjeravanja postupa s medijima
Svaki zahtjev u ToRunu počinje načinom rada: Razgovor, Slika, Video, Glazba, Istraživanje i tako dalje. Svaki način rada objavljuje sposobnosti koje traži. Stvaranje slika traži sposobnost image-gen. Video traži video-gen. Sinteza glazbe i zvuka traži audio-out. Zahtjev koji spaja razgovor s izlazom slike — recimo pojmovna skica uz objašnjenje — traži text i image-gen istodobno.
Cjevovod usmjeravanja uzima taj skup sposobnosti, sužava katalog modela na pružatelje koji ih sve zadovoljavaju, a zatim poretka kandidate po cijeni i kvaliteti. Odabrani model nigdje nije čvrsto upisan u vaš tijek; ako je pružatelj izvan pogona ili spor, pričuvni lanac automatski bira sljedeći prikladan model. Ne pišete kod za pojedinog pružatelja. Ne vodite zasebne API ključeve po modalnosti (osim ako želite, kroz BYOK).
Najviše je to važno kad spajate modalnosti. Čvor tijeka može zamoliti tekstualni model da napiše opis prizora, proslijediti taj izlaz modelu za stvaranje slika, a zatim predati adresu slike modelu za proširenje videa — sve u istom DAG-u, sve naplaćeno na istu knjigu.
Cjenovne jedinice koje doista odgovaraju onome što pružatelji naplaćuju
Naplata medija povijesno je bila neprozirna jer se jedinice ne preslikavaju na tokene. ToRun koristi dvanaest kanonskih cjenovnih jedinica da točno pokrije svaku modalnost:
- Po slici — za difuzijske modele i modele tekst-u-sliku; cijena hvata stvaranje, a ne piksele.
- Po sekundi zvuka — za sintezu govora, govorni izlaz i stvaranje glazbe.
- Po sekundi videa — za modele koji stvaraju video; trajanje i inačica razlučivosti stoje u cjenovnom retku.
- Po znaku sinteze govora — za glasovna sučelja koja naplaćuju po znaku.
Uz njih uobičajene tokenske jedinice (po milijunu ulaznih tokena, izlaznih tokena i tokena iz ulazne predmemorije) pokrivaju tekstualne modele koji sudjeluju u medijskom cjevovodu.
Svaki poziv zapisuje točno jedan zapis naplate. Taj zapis zamrzava cijenu u trenutku izvršenja: cjenovnu jedinicu, cijenu po jedinici, potrošenu količinu, iznos u dolarima nakon marže ToRuna i otisak tečaja ako valuta vašeg računa nije dolar. Promijeni li pružatelj sutra cijene, vaš današnji račun ostaje potpuno preračunljiv iz knjige. Možete izvesti sirove cijene i provjeriti svaki cent bez mreže.
Slaganje stvaranja medija s razgovorom i tijekovima
Najviše se ova arhitektura isplati u tijekovima rada.
Čvor tijeka jednostavno je korak koji objavljuje što treba: model s određenim sposobnostima, ulaznu shemu i izlaznu shemu. Glazbeni čvor može primiti tekstualni upit i trajanje, a vratiti adresu Bunny CDN-a za stvoreni zvuk. Slikovni čvor prima upit, omjer stranica i naznaku stila, a vraća adresu slike. Ti se čvorovi slažu kao i svaki drugi korak.
Možete izgraditi jedan tijek koji:
- Uzima proizvodni sažetak na ulazu.
- Poziva tekstualni model da stvori pet inačica slogana.
- Poziva slikovni model da iscrta po jedan glavni prizor za svaku inačicu.
- Poziva glasovni model da izgovori odabrani slogan.
- Vraća strukturiran artefakt s tekstom, adresama slika i zvukom.
Naplata cijelog tog prolaza raspoređuje se na pet zapisa — po jedan na poziv modela — svi vezani uz isti oznaku izvršenja tijeka. Vidite razradu troška po koracima. Izvršitelji zadano uzimaju modele kvalitetne razine jer je ishod važan; to možete premostiti na čvoru.
Ista logika vrijedi u razgovoru. Pokrene li vaš razgovor poziv za stvaranje slike — jer ste izravno zatražili ili jer ga je pokrenuo priloženi tijek — taj poziv prolazi cjevovodom usmjeravanja i pojavljuje se kao stavka u pregledu troška sesije. Ništa se ne skriva u paušalu. Ništa nije najprije besplatno pa onda naplaćeno.
Što radi sada
Stvaranje slika, videa te glazbe i zvuka dostupno je u Fazi 1. Prolazi istim katalogom pružatelja kao i tekst, naplaćuje se na istu knjigu i slaže se u istom graditelju tijekova. Koji su modeli konkretno dostupni ovisi o tome koji su pružatelji u danom trenutku u katalogu i koje sposobnosti objavljuju — sloj usmjeravanja to prikazuje u stvarnom vremenu.
Cijene su na /pricing. Podrška za BYOK postoji ako medijske pozive želite usmjeravati kroz vlastiti račun kod pružatelja uz niže naknade platforme.