Pułapka jednego modelu
Każdy duży dostawca AI chce, żebyś uwierzył, że jego flagowy model jest właściwą odpowiedzią na każde pytanie. To przekonanie jest dla niego handlowo wygodne, a dla ciebie technicznie fałszywe.
Model błyszczący w rozumowaniu prawniczym na długim kontekście nie jest właściwy do stworzenia dziesięciowyrazowego podpisu. Model z widzeniem na najwyższym poziomie jest przesadą — i pewnie zbyt drogi — do zadania wsadowego przeformatowującego uporządkowany JSON. Model, którego cena jest zoptymalizowana pod przepustowość, może być najgorszym możliwym wyborem, gdy potrzebujesz odpowiedzi w dwie sekundy.
Gdy budujesz na jednym modelu, nie wybierasz najlepszego narzędzia. Wybierasz najlepsze narzędzie dostępne wewnątrz sztucznego ograniczenia. Z czasem to ograniczenie się kumuluje: przepłacasz za zadania proste, nie dowozisz przy złożonych, a gdy ten dostawca ma awarię albo podwyżkę, cały twój produkt staje.
Zdolności, nie nazwy
Użyteczną abstrakcją nie jest „który model", lecz „jakich zdolności potrzebuje to żądanie". To pytanie ma precyzyjną odpowiedź.
Wiadomość czatu z załączonym zrzutem ekranu potrzebuje widzenia. Krok przepływu wywołujący zewnętrzne API potrzebuje narzędzi. Asystent kodu, który ma sprawdzać własne wyjście, potrzebuje wykonywania kodu. Nocny potok streszczeń, który nie musi być szybki, może korzystać z cen wsadowych; wbudowany w produkt asystent, na którego ktoś czeka — nie.
Gdy najpierw wyliczysz wymagania zdolności, wybór modelu staje się zadaniem filtrowania i sortowania. Mając wymagany zbiór — powiedzmy tekst, widzenie i wyjście strukturalne — znajdujesz wszystkie modele obsługujące wszystkie trzy, a potem sortujesz je po jakości i cenie dla bieżącego kontekstu żądania. To sortowanie może się zmieniać z żądania na żądanie, zależnie od tego, co robi dana osoba i jak stoi ze środkami.
Dokładnie to robi potok kierowania ToRun. Tryb (Czat, Kod, Obraz, Badanie i inne) odwzorowuje się na zbiór zdolności. Zbiór filtruje katalog modeli. Ranking ceny i jakości wyłania zwycięzcę. W efekcie możesz używać DeepSeek do wydobywania uporządkowanych danych na dużą skalę, Claude albo modeli klasy GPT-4 do subtelnego rozumowania, Google Gemini do pracy z dokumentami na długim kontekście i wyspecjalizowanego modelu obrazowego do generowania — wszystko z tej samej powierzchni produktu, bez pisania logiki rozdziału.
Zapas to nie miły dodatek
Awarie dostawców nie są rzadkimi przypadkami brzegowymi. Zdarzają się w całej branży kilka razy w miesiącu. Jeśli twój produkt ma zależność od jednego dostawcy, a jego API się psuje, twój produkt psuje się razem z nim.
Łańcuch zapasowy to minimum operacyjne: gdy główny model zwróci przejściowy błąd dla żądania, platforma ponawia je na kolejnym najlepszym zdatnym modelu. Zakłada to, że warstwa kierowania już wie, które modele są zdatne — czyli dokładnie to, co daje kierowanie według zdolności.
Zapas ma jeszcze jedną mniej oczywistą zaletę: utrzymuje twoje zachowanie rozliczeniowe przewidywalnym. Jeśli model pierwszego wyboru przekroczył chwilowo limit użycia, zejście na kolejny zdatny model utrzymuje koszt w zakresie bez pokazywania błędu.
Praktyczny wniosek
Oceniając platformy AI, zadaj dwa pytania: jak wybiera model do każdego żądania i co się dzieje, gdy ten model jest niedostępny albo okazuje się zbyt drogi?
Jeśli odpowiedź na którekolwiek brzmi „zawsze bierze model X", to zapach architektoniczny. Modele dostępne dziś nie będą najlepszymi modelami za pół roku. Pojawiają się nowi dostawcy. Ceny się przesuwają. Granice zdolności się zmieniają. Architektura traktująca wybór modelu jako zadanie kierowania — a nie decyzję konfiguracyjną — starzeje się lepiej, kosztuje z czasem mniej i degraduje się pod presją z większą gracją.
Jeden model to punkt wyjścia. Warstwa kierowania to prawdziwy fundament.