Annuale Paga annualmente e ottieni 2 mesi gratis su ogni piano a pagamento. Vedi i piani
Accedi Inizia gratis

Un turno di chat ha smesso di pagare per un catalogo che non usava

Ogni messaggio portava con sé la descrizione completa e lo schema di ingresso di tutti i 47 strumenti: circa 63.000 caratteri, misurati in quasi 25.000 token di ingresso per chiamata prima ancora che la tua domanda venisse letta. Ora viaggiano per intero solo gli strumenti a cui l'assistente deve poter ricorrere da sé; il resto è un indice breve che può aprire quando glieli chiedi. Anche la parte invariabile delle sue istruzioni è scesa sotto la riga dell'orologio, così i fornitori possono tenerla in cache tra i turni della stessa conversazione. Stesse capacità, conto più leggero a ogni turno.

Condividi LinkedIn X E-mail
Torna al changelog