Każdy dostawca AI ma złe minuty. Model się przeciąża, region się potyka, punkt końcowy przez dziewięćdziesiąt sekund odpowiada błędem. Nie ma w tym nic niezwykłego. Liczy się to, co aplikacja robi przez te dziewięćdziesiąt sekund.
Do tego tygodnia nasza przeważnie się poddawała. Obraz, mowa i transkrypcja od miesięcy przechodziły na model z tej samej rodziny. Tekst nie robił tego nigdzie, więc zła minuta u dostawcy kończyła interaktywną odpowiedź dokładnie tak samo, jak kończyła przepływ pracy.
To samo pytanie, zadane innemu modelowi
Każde wywołanie tekstowe idzie teraz jedną ścieżką, która wie, jak dopytać gdzie indziej: główna tura czatu i kroki narzędziowe za nią, Kontynuuj, głębokie badanie, most do rozumienia obrazu, ulepszanie promptu, krok tekstowy wewnątrz przepływu pracy i generowanie muzyki. Zastępstwo nie jest przypadkowym tańszym modelem, tylko rodzeństwem, które ma zdolność faktycznie potrzebną w żądaniu.
Jeden przypadek celowo zostaje poza tym. Gdy odpowiedź zaczęła już pojawiać się na twoim ekranie, zostawiamy ją w spokoju. Start od nowa na innym modelu oznaczałby przepisanie albo zaprzeczenie zdaniom, które już przeczytałeś, a to gorsze niż uczciwy błąd.
Zapłacić modelowi, który odpowiedział
Ciekawsza połowa to rachunek. Przekierować wywołanie jest łatwo; opisać to uczciwie już nie. Każde przekierowanie zachowywało ceny pierwszego modelu, więc przekierowane wywołanie rozliczano według stawek modelu, który właśnie padł. Łańcuch przekazuje teraz pełną migawkę modelu, który naprawdę się wykonał: ceny, okno kontekstu, narzut. Dzięki temu wiersz w historii rozliczeń wskazuje model, który wykonał pracę, w jego własnej stawce.
A kiedy nic nie działa
Przełączenie nie zawsze jest możliwe. Gdy przebieg naprawdę pada, pieniądze za kroki, które nic nie wyprodukowały, wracają teraz tam, skąd zostały wzięte. To była druga połowa tygodnia i ma własny wpis.