Pasca jediného modelu
Každý veľký poskytovateľ AI chce, aby ste verili, že jeho vlajkový model je správnou odpoveďou na akúkoľvek otázku. To presvedčenie je preňho obchodne pohodlné a pre vás technicky nepravdivé.
Model, ktorý žiari v právnom uvažovaní s dlhým kontextom, nie je ten pravý na vytvorenie desaťslovného popisku. Model so špičkovým zrakom je predimenzovaný — a najskôr príliš drahý — pre dávkovú úlohu preformátúvajúcu štruktúrovaný JSON. Model, ktorého cena je vyladená na priepustnosť, môže byť tou najhoršou voľbou, keď potrebujete odpoveď do dvoch sekúnd.
Ak staviate na jedinom modeli, nevyberáte najlepší nástroj. Vyberáte najlepší nástroj dostupný vnútri umelého obmedzenia. Časom sa to obmedzenie hromadí: preplácate jednoduché úlohy, nedoťahujete zložité, a keď má ten poskytovateľ výpadok alebo zdražie, celý váš produkt stojí.
Schopnosti, nie mená
Užitočnou abstrakciou nie je „ktorý model", ale „aké schopnosti táto požiadavka potrebuje". Tá otázka má presnú odpoveď.
Správa chatu s priloženou snímkou obrazovky potrebuje zrak. Krok postupu volajúci vonkajšie API potrebuje nástroje. Kódový asistent, ktorý má overovať vlastný výstup, potrebuje spúšťanie kódu. Nočná zhrňovacia linka, ktorá nemusí byť rýchla, môže využiť dávkové ceny; asistent vnútri produktu, na ktorého niekto čaká, nie.
Ak vymenujete najprv požiadavky na schopnosti, voľba modelu sa stane úlohou filtrovania a radenia. Ak máte požadovanú sadu — povedzme text, zrak a štruktúrovaný výstup — nájdete všetky modely podporujúce všetky tri a potom ich zoradíte podľa kvality a ceny pre súčasný kontext požiadavky. To radenie sa môže meniť požiadavka od požiadavky podľa toho, čo daný človek robí a ako je na tom s prostriedkami.
Presne toto robí smerovacia linka ToRun. Režim (Chat, Kód, Obrázok, Výskum a ďalšie) sa mapuje na sadu schopností. Sada filtruje katalóg modelov. Poradie podľa ceny a kvality vyberie víťaza. Výsledkom je, že môžete používať DeepSeek na štruktúrovanú extrakciu vo veľkom objeme, Claude alebo modely triedy GPT-4 na jemné uvažovanie, Google Gemini na prácu s dokumentmi v dlhom kontexte a špecializovaný obrázkový model na generovanie — všetko z tej istej produktovej plochy, bez toho, aby ste písali rozdeľovaciu logiku.
Záloha nie je milý bonus
Výpadky poskytovateľov nie sú vzácne okrajové prípady. Dejú sa naprieč odvetvím niekoľkokrát mesačne. Ak má váš produkt závislosť na jedinom poskytovateľovi a jeho API sa zhorší, váš produkt sa zhorší s ním.
Záložná reťaz je prevádzkové minimum: ak hlavný model pri požiadavke vráti prechodnú chybu, platforma ju zopakuje na ďalšom najlepšom spôsobilom modeli. To predpokladá, že smerovacia vrstva už vie, ktoré modely sú spôsobilé — a presne to smerovanie podľa schopností dodáva.
Záloha má ešte jednu menej zrejmú výhodu: udržiava vaše účtovné správanie predvídateľné. Ak je model prvej voľby dočasne nad limitom použitia, uhnutie na ďalší spôsobilý model udrží náklad v rozmedzí bez toho, aby sa používateľovi ukázala chyba.
Praktický záver
Pri posudzovaní platforiem AI položte dve otázky: ako vyberá model pre každú požiadavku a čo sa stane, keď je ten model nedostupný alebo príliš drahý?
Ak je odpoveď na ktorúkoľvek z nich „vždy berie model X", je to architektonický zápach. Modely dostupné dnes nebudú najlepšími modelmi o pol roka. Objavujú sa noví poskytovatelia. Ceny sa posúvajú. Hranice schopností sa menia. Architektúra, ktorá poníma voľbu modelu ako úlohu smerovania — nie ako rozhodnutie konfigurácie — starne lepšie, stojí časom menej a pod tlakom sa zhoršuje elegantnejšie.
Jeden model je východiskový bod. Smerovacia vrstva je skutočný základ.