Težava pristopa »vzemi GPT-4 in konec«
Večina platform umetne inteligence sprejme za vas tiho odločitev: izbere model, ki jim ustreza, nanj priklopi vse in gre naprej. To deluje, dokler ne neha delovati — dokler model ne pade, dokler tekmec ne izda česa boljšega za določeno nalogo, dokler ne želite prinesti lastnega API ključa in obdržati stroška na svojem računu, dokler ne potrebujete ustvarjanja slik, privzeti model pa tega ne zna.
Običajno zdravilo je spustni seznam. Izberite model, uporabljajte ga povsod, s kompromisi se znajdite sami. To ni usmerjanje, to je prelaganje odgovornosti. ToRun počne nekaj strukturno drugačnega.
Cevovod, ki zmožnosti postavlja na prvo mesto
Vsaka zahteva v ToRunu gre skozi štiri korake, preden se dotakne modela.
1. Način določa površino izdelka. Ko odprete sejo Klepeta ali sprožite nalogo Raziskave, izbirate Način. Način ni le nalepka vmesnika: nosi določen nabor obveznih in izbirnih zmožnosti. Naloga Raziskave potrebuje orodja (spletno iskanje), dolg kontekst in strukturiran izhod. Navadna seja klepeta privzeto potrebuje le ustvarjanje besedila.
2. Nabor zmožnosti postane filter. ToRun vodi katalog modelov mnogih ponudnikov — OpenAI, Anthropic/Claude, Google/Gemini, DeepSeek, xAI/Grok, Mistral in drugih. Vsak vnos nosi unijo zmožnosti, ki jih model dejansko podpira: vid, orodja, izvajanje kode, ustvarjanje slik, zvok na vhodu, zvok na izhodu, ustvarjanje videa, vložitve, prerazvrščanje, pretakanje v realnem času, sklepanje in več. Nabor iz prvega koraka se primerja s tem katalogom. Modeli, ki ne izpolnijo vseh obveznih zmožnosti, odpadejo.
3. Razvrstitev cena-kakovost izbere zmagovalca. Med modeli, ki prestanejo filter, ToRun razvršča glede na to, kaj zahteva v resnici je. Kratko preprosto vprašanje se razvrsti po strošku, zato dobite hiter in poceni odgovor. Daljše ali težje se razvrsti po zmožnosti na enoto stroška, proti spodnjemu pragu kakovosti. Poteza, ki nosi sliko, se razvrsti po tem, kako dobro model vidi, ne po sklepanju na evro. Izvajalci tokov preklopijo na prednost kakovosti, ker naj avtomatiziran cevovod, ki teče brez nadzora, cilja na najboljši izid, ne na najcenejšo bližnjico. Uporabniki BYOK vstopajo v ceno drugače, ker gre zahteva prek njihovega lastnega računa pri ponudniku.
4. Rezervne verige vsrkajo izpade ponudnika. Če izbrani model vrne napako storitve, isti cevovod steče znova z izključitvijo tega modela. Odgovori drugi najboljši sposoben model. Ne boste videli nobene napake, razen če so vsi izvedljivi kandidati zunaj obratovanja.
Konkreten primer: vid plus orodja
Recimo, da prilepite posnetek zaslona in ToRun prosite, naj na spletu poišče kontekst tega, kar prikazuje. Taka zahteva se dotika dveh zmožnosti hkrati: vida (model mora sprejeti sliko na vhodu) in orodij (model mora znati poklicati funkcijo spletnega iskanja).
S pristopom enega modela obtičite: vaša platforma to kombinacijo podpira ali ne. Ob usmerjanju po zmožnostih ToRun preseka obe zahtevi. Filter preživijo le modeli s potrjeno podporo tako za vid KOT za klicanje orodij. S tega kratkega seznama razvrstitev po ceni in kakovosti izbere najboljšega za vaš trenutni način. Če je glavni kandidat omejen ali zunaj obratovanja, zahtevo postreže naslednji, ne da bi vi karkoli storili.
V praksi je to pomembno: množica modelov z vidom se je v zadnjem letu močno spremenila in se bo spreminjala naprej. Usmerjanje po zmožnostih poskrbi, da ToRun samodejno upošteva novo dodane modele takoj, ko so vpisani v katalog, brez vsakršne posodobitve z vaše strani.
Zakaj to premaga vezanost
Platforma z enim modelom ima eno samo rezervno strategijo: čakati, da ponudnik izpad odpravi. Platforma, ki zmožnosti postavlja na prvo mesto, ima katalog. Ko ima OpenAI dogodek, zahteve, ki jih zmoreta Anthropic ali Gemini, postrežeta onadva. Ko nov Mistralov model ponudi boljše razmerje cene in kakovosti pri strukturiranem izhodu, vstopi v razvrstitev ustreznih načinov brez prisilne selitve.
Ista logika velja za BYOK. Ko dodate lasten API ključ za ponudnika, ti podatki ostanejo zaprti znotraj usmerjevalne plasti. Zahteve, ki ustrezajo sposobnim modelom tega ponudnika, lahko posežejo po vašem ključu namesto po računu ToRuna in prenesejo strošek v vaš odnos s ponudnikom na ustrezni obračunski ravni. Usmerjevalni cevovod se ne spremeni: spremeni se le, kateri podatki se ob izvedbi uporabijo.
Kompromis je poštenost: ToRun ne more jamčiti, da bo najcenejši model za vašo nalogo najpametnejši. Razvrstitev je vidna — vidite, kaj je bilo izbrano in zakaj, in to lahko povozite. Ta preglednost je cilj. Vsaka zahteva zapiše obračunski zapis z uporabljenim modelom, cenovno enoto, dejavno ob izvedbi, in razčlembo stroška. Katerikoli klic lahko preverite tudi mesece pozneje, tudi po spremembi cen ponudnika, ker je odtis zamrznjen v trenutku, ko je zahteva tekla.
En model, ki zmore vse, je udobna izmišljotina. Kar v resnici želite, je platforma, ki najde pravi model za vsako nalogo in to izbiro naredi berljivo.