Problem pristupa „uzmi GPT-4 i gotovo"
Većina platformi umjetne inteligencije donosi za vas tihu odluku: bira model koji im odgovara, spaja sve na njega i ide dalje. To radi dok ne prestane raditi — dok model ne padne, dok konkurent ne izbaci nešto bolje za određeni zadatak, dok ne poželite donijeti vlastiti API ključ i zadržati trošak na svom računu, dok ne zatrebate stvaranje slika, a zadani model to ne zna.
Uobičajeni lijek je padajući izbornik. Odaberite model, koristite ga svugdje, sa svim kompromisima snađite se sami. To nije usmjeravanje, to je prebacivanje odgovornosti. ToRun radi nešto ustrojstveno drukčije.
Cjevovod koji sposobnosti stavlja na prvo mjesto
Svaki zahtjev u ToRunu prolazi četiri koraka prije nego dotakne model.
1. Način rada određuje površinu proizvoda. Kad otvorite sesiju Razgovora ili pokrenete zadatak Istraživanja, birate Način rada. Način rada nije samo naljepnica sučelja: nosi određen skup obveznih i neobveznih sposobnosti. Zadatak Istraživanja treba alate (pretraživanje weba), dug kontekst i strukturirani izlaz. Obična sesija razgovora zadano treba samo stvaranje teksta.
2. Skup sposobnosti postaje filtar. ToRun vodi katalog modela mnogih pružatelja — OpenAI, Anthropic/Claude, Google/Gemini, DeepSeek, xAI/Grok, Mistral i drugih. Svaki unos nosi uniju sposobnosti koje model doista podržava: vid, alati, izvršavanje koda, stvaranje slika, zvuk na ulazu, zvuk na izlazu, stvaranje videa, ugrađivanja, preslagivanje, prijenos u stvarnom vremenu, zaključivanje i više. Skup iz prvog koraka usporedi se s ovim katalogom. Modeli koji ne zadovoljavaju sve obvezne sposobnosti otpadaju.
3. Poredak cijena-kvaliteta bira pobjednika. Među modelima koji prođu filtar ToRun poretka prema tome što zahtjev doista jest. Kratko, jednostavno pitanje poreda se po trošku, pa dobivate brz i jeftin odgovor. Dulje ili teže poreda se po sposobnosti po jedinici troška, uz donji prag kvalitete. Potez koji nosi sliku poreda se po tome koliko dobro model vidi, a ne po zaključivanju po kuni. Izvršitelji tijekova prelaze na prednost kvaliteti, jer automatizirani cjevovod koji radi bez nadzora treba ciljati na najbolji ishod, a ne na najjeftiniju prečicu. Korisnici BYOK-a ulaze u cijenu drukčije, jer zahtjev ide preko njihova vlastitog računa kod pružatelja.
4. Pričuvni lanci upijaju kvarove pružatelja. Vrati li odabrani model pogrešku usluge, isti cjevovod izvodi se ponovno uz isključenje tog modela. Odgovara drugi najbolji sposoban model. Nećete vidjeti nikakvu pogrešku, osim ako svi izvedivi kandidati nisu izvan pogona.
Konkretan primjer: vid plus alati
Recimo da zalijepite snimku zaslona i zatražite od ToRuna da na webu potraži kontekst onoga što ona pokazuje. Takav zahtjev dotiče dvije sposobnosti odjednom: vid (model mora primiti sliku na ulazu) i alate (model mora znati pozvati funkciju pretraživanja weba).
S pristupom jednog modela zapinjete: vaša platforma podržava tu kombinaciju ili ne. Uz usmjeravanje prema sposobnostima ToRun presijeca oba zahtjeva. Filtar preživljavaju samo modeli s potvrđenom podrškom i za vid I za pozivanje alata. S tog kratkog popisa poredak po cijeni i kvaliteti bira najbolji za vaš trenutačni način rada. Ako je glavni kandidat ograničen ili izvan pogona, sljedeći opslužuje zahtjev bez ijedne vaše radnje.
U praksi to je važno: skup modela s vidom mnogo se promijenio u posljednjoj godini i mijenjat će se dalje. Usmjeravanje prema sposobnostima čini da ToRun automatski uzima u obzir novododane modele čim uđu u katalog, bez ijedne nadogradnje s vaše strane.
Zašto to pobjeđuje vezanost
Platforma s jednim modelom ima jednu pričuvnu strategiju: čekati da pružatelj popravi kvar. Platforma koja sposobnosti stavlja na prvo mjesto ima katalog. Kad OpenAI ima incident, zahtjeve koje mogu poslužiti Anthropic ili Gemini poslužuju oni. Kad novi Mistralov model ponudi bolji omjer cijene i kvalitete kod strukturiranog izlaza, ulazi u poredak odgovarajućih načina rada bez prisilne seobe.
Ista logika vrijedi za BYOK. Kad dodate vlastiti API ključ za pružatelja, ti su podaci zatvoreni unutar sloja usmjeravanja. Zahtjevi koji odgovaraju sposobnim modelima tog pružatelja mogu posegnuti za vašim ključem umjesto za računom ToRuna, prebacujući trošak u vaš odnos s pružateljem na primjerenoj razini naplate. Cjevovod usmjeravanja se ne mijenja: mijenja se samo koji se podaci koriste u trenutku izvršenja.
Kompromis je poštenje: ToRun ne može jamčiti da će najjeftiniji model biti najpametniji za vaš zadatak. Poredak je vidljiv — vidite što je odabrano i zašto, i možete to premostiti. Ta je prozirnost cilj. Svaki zahtjev zapisuje zapis naplate s korištenim modelom, cjenovnom jedinicom aktivnom pri izvršenju i razradom troška. Bilo koji poziv možete provjeriti i mjesecima kasnije, čak i nakon promjene cijena pružatelja, jer je otisak zamrznut u trenutku kad je zahtjev izvršen.
Jedan model koji radi sve ugodna je izmišljotina. Ono što doista želite jest platforma koja nalazi pravi model za svaki zadatak i taj izbor čini čitljivim.