Past enega modela
Vsak velik ponudnik umetne inteligence želi, da verjamete, da je njegov vodilni model pravi odgovor na katerokoli vprašanje. To prepričanje mu je poslovno udobno, vam pa tehnično napačno.
Model, ki blesti v pravnem sklepanju z dolgim kontekstom, ni pravi za ustvarjanje podnapisa iz desetih besed. Model z vrhunskim vidom je pretiran — in najbrž predrag — za paketno opravilo, ki preoblikuje strukturiran JSON. Model, katerega cena je uglašena na prepustnost, je lahko najslabša možna izbira, ko odgovor potrebujete v dveh sekundah.
Če gradite na enem modelu, ne izbirate najboljšega orodja. Izbirate najboljše orodje, ki je na voljo znotraj umetne omejitve. Sčasoma se ta omejitev kopiči: preplačujete preproste naloge, zaostajate pri zapletenih, in ko ima tisti ponudnik izpad ali podražitev, cel vaš izdelek stoji.
Zmožnosti, ne imena
Uporabna abstrakcija ni »kateri model«, ampak »katere zmožnosti ta zahteva potrebuje«. To vprašanje ima natančen odgovor.
Sporočilo klepeta s priloženim posnetkom zaslona potrebuje vid. Korak toka, ki kliče zunanji API, potrebuje orodja. Pomočnik za kodo, ki naj preverja lasten izhod, potrebuje izvajanje kode. Nočni cevovod povzemanja, ki mu ni treba biti hiter, lahko uporabi paketne cene; pomočnik znotraj izdelka, na katerega nekdo čaka, ne.
Če najprej naštejete zahteve po zmožnostih, izbira modela postane naloga filtriranja in razvrščanja. Ob zahtevanem naboru — recimo besedilo, vid in strukturiran izhod — najdete vse modele, ki podpirajo vse tri, in jih nato razvrstite po kakovosti in ceni za trenutni kontekst zahteve. Ta razvrstitev se lahko spreminja od zahteve do zahteve, odvisno od tega, kaj oseba počne in kako stoji s sredstvi.
Natanko to počne usmerjevalni cevovod ToRuna. Način (Klepet, Koda, Slika, Raziskava in drugi) se preslika v nabor zmožnosti. Nabor prefiltrira katalog modelov. Razvrstitev po ceni in kakovosti izbere zmagovalca. Izid je, da lahko uporabljate DeepSeek za strukturirano izluščanje v velikem obsegu, Claude ali modele razreda GPT-4 za pretanjeno sklepanje, Google Gemini za delo z dokumenti v dolgem kontekstu in specializiran slikovni model za ustvarjanje — vse z iste površine izdelka, brez pisanja razdelilne logike.
Rezerva ni prijetna dodatna zmožnost
Izpadi ponudnikov niso redki robni primeri. Dogajajo se po vsej panogi večkrat mesečno. Če je vaš izdelek odvisen od enega ponudnika in njegov API oslabi, vaš izdelek slabi z njim.
Rezervna veriga je obratovalni minimum: če glavni model za zahtevo vrne prehodno napako, jo platforma ponovi na naslednjem najboljšem ustreznem modelu. To predpostavlja, da usmerjevalna plast že ve, kateri modeli so ustrezni — in prav to daje usmerjanje po zmožnostih.
Rezerva ima še eno manj očitno korist: vaše obračunsko vedenje ohranja predvidljivo. Če je model prve izbire začasno nad mejo uporabe, zavoj na naslednji ustrezen model drži strošek v razponu, ne da bi se uporabniku prikazala napaka.
Praktičen sklep
Pri presoji platform umetne inteligence zastavite dve vprašanji: kako izbira model za vsako zahtevo in kaj se zgodi, ko ta model ni na voljo ali postane predrag?
Če je odgovor na katerokoli »vedno vzame model X«, je to arhitekturni vonj. Modeli, ki so na voljo danes, ne bodo najboljši modeli čez pol leta. Pojavljajo se novi ponudniki. Cene se premikajo. Meje zmožnosti se spreminjajo. Arhitektura, ki izbiro modela razume kot nalogo usmerjanja — ne kot odločitev nastavitve — se bolje stara, sčasoma manj stane in pod pritiskom slabi bolj elegantno.
En model je izhodišče. Usmerjevalna plast je pravi temelj.