Yhden mallin ansa
Jokainen suuri tekoälypalveluntarjoaja haluaa sinun uskovan, että sen lippulaivamalli on oikea vastaus mihin tahansa kysymykseen. Tuo usko on sille kaupallisesti mukava ja sinulle teknisesti väärä.
Malli, joka loistaa pitkän asiayhteyden oikeudellisessa päättelyssä, ei ole oikea tuottamaan kymmenen sanan kuvatekstiä. Huippunäöllä varustettu malli on ylimitoitettu — ja luultavasti liian kallis — eräajolle, joka muotoilee jäsenneltyä JSONia uudelleen. Malli, jonka hinta on viritetty läpimenolle, voi olla huonoin mahdollinen valinta, kun tarvitset vastauksen kahdessa sekunnissa.
Kun rakennat yhden mallin varaan, et valitse parasta työkalua. Valitset parhaan käytettävissä olevan työkalun keinotekoisen rajoitteen sisällä. Ajan myötä tuo rajoite kasautuu: maksat liikaa yksinkertaisista tehtävistä, jäät jälkeen monimutkaisissa, ja kun tuolla palveluntarjoajalla on häiriö tai hinnankorotus, koko tuotteesi seisoo.
Kyvykkyyksiä, ei nimiä
Hyödyllinen abstraktio ei ole »mikä malli« vaan »mitä kyvykkyyksiä tämä pyyntö tarvitsee«. Tuohon kysymykseen on täsmällinen vastaus.
Keskusteluviesti liitetyllä kuvakaappauksella tarvitsee näön. Työnkulun vaihe, joka kutsuu ulkoista API:a, tarvitsee työkaluja. Koodiavustaja, jonka pitää tarkistaa oma tulosteensa, tarvitsee koodin suorittamisen. Yöllinen tiivistysputki, jonka ei tarvitse olla nopea, voi käyttää eräajohintoja; tuotteen sisäinen avustaja, jota joku odottaa, ei.
Kun luettelet ensin kyvykkyysvaatimukset, mallin valinta muuttuu suodatus- ja järjestystehtäväksi. Annetulla vaaditulla joukolla — sanotaan teksti, näkö ja jäsennelty tuloste — löydät kaikki mallit, jotka tukevat kaikkia kolmea, ja järjestät ne sitten laadun ja hinnan mukaan nykyiseen pyyntöyhteyteen. Tuo järjestys voi vaihdella pyynnöstä toiseen sen mukaan, mitä henkilö tekee ja miten hänen varansa ovat.
Juuri tämän ToRunin ohjausputki tekee. Tila (Keskustelu, Koodi, Kuva, Tutkimus ja muut) kuvautuu kyvykkyysjoukolle. Joukko suodattaa malliluettelon. Hinnan ja laadun mukainen järjestys valitsee voittajan. Tulos on, että voit käyttää DeepSeekiä suuren määrän jäsenneltyyn poimintaan, Claudea tai GPT-4-luokan malleja vivahteikkaaseen päättelyyn, Google Geminiä pitkän asiayhteyden asiakirjatyöhön ja erikoistunutta kuvamallia tuottamiseen — kaiken samalta tuotepinnalta, ilman että kirjoitat jakelulogiikkaa.
Vara ei ole mukava lisä
Palveluntarjoajien häiriöt eivät ole harvinaisia reunatapauksia. Niitä sattuu koko alalla useita kertoja kuussa. Jos tuotteesi riippuu yhdestä palveluntarjoajasta ja sen API heikkenee, tuotteesi heikkenee mukana.
Varaketju on toiminnallinen vähimmäistaso: kun ensisijainen malli palauttaa ohimenevän virheen pyyntöön, alusta yrittää sitä uudelleen seuraavalla parhaalla kelvollisella mallilla. Tämä olettaa, että ohjauskerros jo tietää, mitkä mallit ovat kelvollisia — ja juuri sen kyvykkyyspohjainen ohjaus antaa.
Varalla on toinenkin vähemmän ilmeinen hyöty: se pitää laskutuskäyttäytymisesi ennustettavana. Jos ensimmäisen valinnan malli on tilapäisesti käyttörajan yli, kaartaminen seuraavaan kelvolliseen malliin pitää kustannuksen vaihteluvälissä näyttämättä virhettä.
Käytännön johtopäätös
Kun arvioit tekoälyalustoja, esitä kaksi kysymystä: miten se valitsee mallin jokaiseen pyyntöön ja mitä tapahtuu, kun tuo malli ei ole käytettävissä tai käy liian kalliiksi?
Jos vastaus kumpaan tahansa on »se ottaa aina mallin X«, se on arkkitehtuurin haju. Tänään saatavilla olevat mallit eivät ole parhaita malleja puolen vuoden päästä. Uusia palveluntarjoajia ilmestyy. Hinnat liikkuvat. Kyvykkyyksien rajat muuttuvat. Arkkitehtuuri, joka käsittelee mallin valintaa ohjaustehtävänä — ei asetuspäätöksenä — vanhenee paremmin, maksaa ajan myötä vähemmän ja heikkenee paineen alla tyylikkäämmin.
Yksi malli on lähtökohta. Ohjauskerros on todellinen perusta.