Ogni fornitore di IA ha minuti storti. Un modello va in sovraccarico, una regione inciampa, un endpoint risponde con un errore per novanta secondi. Non c'è nulla di insolito. Conta quello che l'app fa in quei novanta secondi.
Fino a questa settimana la nostra per lo più si arrendeva. Immagini, voce e trascrizione passavano a un modello fratello da mesi. Il testo non lo faceva da nessuna parte, così un minuto storto del fornitore chiudeva una risposta interattiva esattamente come chiudeva un flusso di lavoro.
La stessa domanda, a un altro modello
Ogni chiamata di testo passa ora per un unico percorso che sa chiedere altrove: il turno principale della chat e i passaggi con gli strumenti dietro di esso, Continua, la ricerca approfondita, il ponte visivo, il miglioramento del prompt, il passaggio di testo dentro un flusso di lavoro e le generazioni musicali. Il sostituto non è un modello più economico a caso: è un fratello che ha la capacità di cui la richiesta ha davvero bisogno.
Un caso resta fuori di proposito. Quando una risposta ha iniziato a comparire sul tuo schermo, la lasciamo stare. Ripartire su un altro modello significherebbe riscrivere o contraddire frasi che hai già letto, e questo è peggio di un errore onesto.
Pagare il modello che ha risposto
La metà interessante è l'addebito. Dirottare una chiamata è facile; raccontarlo onestamente no. Ogni dirottamento manteneva i prezzi del primo modello, quindi una chiamata dirottata veniva addebitata alle tariffe del modello appena caduto. La catena consegna ora l'istantanea completa del modello che ha davvero girato: prezzi, finestra di contesto, ricarico. Così la riga nella tua cronologia di fatturazione nomina il modello che ha fatto il lavoro, alla sua tariffa.
E quando non funziona nulla
Dirottare non è sempre possibile. Quando un'esecuzione fallisce davvero, i soldi dei passaggi che non hanno prodotto nulla tornano ora da dove erano stati presi. Questa è stata l'altra metà della settimana, e ha un articolo tutto suo.