Zlé minúty má každý poskytovateľ AI. Model sa preťaží, región zakolíše, koncový bod deväťdesiat sekúnd odpovedá chybou. Nie je na tom nič nezvyčajné. Záleží na tom, čo aplikácia robí počas tých deväťdesiatich sekúnd.
Do tohto týždňa sa tá naša väčšinou vzdala. Obrázky, reč a prepis prechádzali na súrodenecký model už mesiace. Text to nerobil nikde, takže zlá minúta u poskytovateľa ukončila interaktívnu odpoveď rovnako ako pracovný postup.
Tá istá otázka, položená inému modelu
Každé textové volanie teraz prechádza jednou cestou, ktorá vie spýtať sa inde: hlavný ťah chatu a nástrojové kroky za ním, Pokračovať, hlboký prieskum, most k porozumeniu obrázkom, vylepšenie promptu, textový krok vnútri pracovného postupu a hudobné behy. Náhrada nie je náhodný lacnejší model, ale súrodenec, ktorý má práve tú schopnosť, akú požiadavka potrebuje.
Jeden prípad zostáva zámerne bokom. Len čo sa odpoveď začne objavovať na vašej obrazovke, necháme ju tak. Začať odznova na inom modeli by znamenalo prepísať alebo poprieť vety, ktoré ste už prečítali, a to je horšie než poctivá chyba.
Zaplatiť modelu, ktorý odpovedal
Zaujímavejšou polovicou je účet. Presmerovať volanie je ľahké; opísať to poctivo nie. Každé presmerovanie si držalo ceny prvého modelu, takže presmerované volanie sa účtovalo sadzbami modelu, ktorý práve spadol. Reťaz teraz odovzdáva volajúcemu celú snímku modelu, ktorý skutočne bežal: ceny, kontextové okno, prirážku. Riadok vo vašej histórii platieb tak menuje model, ktorý prácu urobil, v jeho vlastnej sadzbe.
A keď nefunguje nič
Prepnúť inam sa nedá vždy. Keď beh naozaj zlyhá, peniaze za kroky, ktoré nič nevytvorili, sa teraz vracajú tam, odkiaľ boli vzaté. To bola druhá polovica týždňa a má vlastný článok.