A „vedd a GPT-4-et, és kész" gondja
A legtöbb MI-platform csendes döntést hoz Ön helyett: kiválaszt egy modellt, ami tetszik neki, mindent rákapcsol, és megy tovább. Ez addig működik, amíg meg nem szűnik működni — amíg a modell el nem esik, amíg egy versenytárs jobbat nem ad ki egy adott feladatra, amíg nem akarja saját API-kulcsát behozni és a költséget a saját fiókján tartani, amíg nem kell képet generálnia, és az alapértelmezett modell ezt nem tudja.
A szokásos gyógyszer egy legördülő lista. Válasszon modellt, használja mindenütt, a kompromisszumokkal boldoguljon egyedül. Ez nem irányítás, ez átterhelés. A ToRun szerkezetileg mást csinál.
A képességet első helyre tevő csővezeték
Minden kérés a ToRunban négy lépésen megy át, mielőtt modellt érintene.
1. A mód meghatározza a termékfelületet. Amikor Beszélgetés munkamenetet nyit vagy Kutatás feladatot indít, Módot választ. A mód nem csupán felületi címke: meghatározott kötelező és választható képességkészletet hordoz. Egy Kutatás feladat eszközöket (webes keresés), hosszú környezetet és szerkezetes kimenetet igényel. Egy egyszerű beszélgetés alapból csak szöveggenerálást igényel.
2. A képességkészlet szűrővé válik. A ToRun sok szolgáltató modelljeiről vezet katalógust — OpenAI, Anthropic/Claude, Google/Gemini, DeepSeek, xAI/Grok, Mistral és mások. Minden bejegyzés hordozza azon képességek egyesítését, amelyeket a modell ténylegesen támogat: látás, eszközök, kódfuttatás, képgenerálás, hang bemeneten, hang kimeneten, videógenerálás, beágyazások, újrarendezés, valós idejű folyam, következtetés és több. Az első lépés készletét összevetik ezzel a katalógussal. Azok a modellek, amelyek nem teljesítik az összes kötelező képességet, kiesnek.
3. Az ár-minőség rangsor választja a győztest. A szűrőn átjutó modellek közül a ToRun aszerint rendez, hogy a kérés valójában mi. Egy rövid, egyszerű kérdés költség szerint rendeződik, így gyors és olcsó választ kap. Egy hosszabb vagy nehezebb költségegységre jutó képesség szerint rendeződik, minőségi alsó küszöbbel szemben. Egy képet hordozó lépés aszerint rendeződik, milyen jól lát a modell, nem aszerint, mennyi következtetést ad forintjáért. A munkafolyamat-végrehajtók minőségelsőségre váltanak, mert egy felügyelet nélkül futó automatizált csővezetéknek a legjobb eredményre kell törekednie, nem a legolcsóbb rövidítésre. A BYOK-felhasználók másképp lépnek be az árazásba, mert a kérés a saját szolgáltatói fiókjukon megy át.
4. A tartalékos láncok elnyelik a szolgáltatói kieséseket. Ha a kiválasztott modell szolgáltatási hibát ad vissza, ugyanaz a csővezeték újra lefut e modell kizárásával. A második legjobb alkalmas modell válaszol. Semmilyen hibát nem lát, hacsak az összes életképes jelölt nincs üzemen kívül.
Egy kézzelfogható példa: látás plusz eszközök
Tegyük fel, beilleszt egy képernyőképet, és megkéri a ToRunt, keressen a weben környezetet arról, amit mutat. Ez a kérés két képességet érint egyszerre: látást (a modellnek képet kell elfogadnia bemenetként) és eszközöket (a modellnek tudnia kell webes keresőfüggvényt hívni).
Egy modellre épülő megközelítéssel elakad: a platformja támogatja ezt a párosítást, vagy nem. Képesség szerinti irányítással a ToRun metszi a két követelményt. A szűrőt csak azok a modellek élik túl, amelyeknél megerősített a látás ÉS az eszközhívás támogatása. Ebből a rövid listából az ár és minőség szerinti rangsor választja a jelenlegi módjához legjobbat. Ha a fő jelölt korlátozott vagy üzemen kívül van, a következő szolgálja ki a kérést, anélkül hogy bármit tenne.
A gyakorlatban ez számít: a látással bíró modellek halmaza sokat változott az elmúlt évben, és tovább fog változni. A képesség szerinti irányítás miatt a ToRun automatikusan figyelembe veszi az újonnan hozzáadott modelleket, amint katalógusba kerülnek, mindenféle frissítés nélkül az Ön oldaláról.
Miért győz ez a kötöttség felett
Egy egymodelles platformnak egyetlen tartalékos stratégiája van: várni, hogy a szolgáltató javítsa a kiesést. Egy képességet első helyre tevő platformnak katalógusa van. Amikor az OpenAI-nál esemény van, azokat a kéréseket, amelyeket az Anthropic vagy a Gemini ki tud szolgálni, ott szolgálják ki. Amikor egy új Mistral-modell jobb ár-minőség arányt kínál szerkezetes kimenetnél, bekerül az érintett módok rangsorába kényszerű átköltözés nélkül.
Ugyanez a logika érvényes a BYOK-ra. Amikor saját API-kulcsot ad hozzá egy szolgáltatóhoz, ez a hitelesítő adat az irányítási rétegen belül marad zárva. Az adott szolgáltató alkalmas modelljeihez illő kérések az Ön kulcsát használhatják a ToRun fiókja helyett, a költséget az Ön szolgáltatói kapcsolatába tolva a megfelelő számlázási szinten. Az irányítási csővezeték nem változik: csak az változik, melyik hitelesítő adatot használják a végrehajtás pillanatában.
A kompromisszum a becsületesség: a ToRun nem garantálhatja, hogy a legolcsóbb modell lesz a legokosabb az Ön feladatához. A rangsor nyílt — látja, mit választottak és miért, és felülbírálhatja. Ez az átláthatóság a cél. Minden kérés számlázási tételt ír a használt modellel, a végrehajtáskor érvényes árazási egységgel és a költségbontással. Bármely hívást ellenőrizhet hónapokkal később is, még szolgáltatói árváltozás után is, mert a pillanatkép a kérés futásának pillanatában befagyott.
Egy modell, ami mindent tud, kényelmes koholmány. Amit valóban akar, az egy platform, amely minden feladathoz megtalálja a megfelelő modellt, és ezt a választást olvashatóvá teszi.