Ktoś spędził dziewięć tur, próbując rozpoznać lek z opisu. Trzy razy asystent naprawdę szukał. Sześć razy powiedział, że szuka, i nie zrobił nic. Z przerwami, a to najgorszy rodzaj: nie czyta się jak usterka, czyta się jak okłamywanie.
Naszym pierwszym odruchem był prompt. Zwykle nim jest. I był błędny.
Narzędzie było na miejscu przez cały czas
Wyszukiwanie w sieci było wysyłane w całości przy każdym z tych wywołań, a ten sam model z tym samym promptem wywołał je w tej samej rozmowie. Odebrane narzędzie nie może zawodzić z przerwami.
Zmienił się budżet rozumowania. Wpuszczenie pewnej rodziny modeli do Auto oznaczało obniżenie ich wysiłku do minimum, żeby pozostały przystępne cenowo — a na ścieżce, którą te modele idą, ustawienie było stosowane niezależnie od tego, czy ktoś o nie prosił. Zbite tak nisko, model nie może wykonać żadnego wywołania narzędzia. Może tylko o nim mówić.
Ten sam kształt, jeszcze dwa razy
Gdy raz się zauważy wzorzec, widać go wszędzie. Poproś o pięćdziesiąt rosnących monet z analizą, a arkusz przyjdzie z sześcioma wierszami: prawdziwy, otwierający się plik, który wygląda na skończony, dopóki się go nie przeczyta. Instrukcja, według której pracował model, opisywała kształt pliku i nic nie mówiła o skali, więc reprezentatywna próbka jej wystarczała.
A po utworzeniu dokumentu asystent głosowy odczytał na głos cały adres pobierania, znak po znaku, przez dziewięćdziesiąt sekund. Nie ignorował instrukcji: jedna mówiła nigdy nie czytać adresów na głos, druga — pokazać link. Na powierzchni mówionej pokazać znaczy powiedzieć.
Reguła, której wciąż uczymy się od nowa
Asystent opowiadający o czynności, której nie potrafi wykonać, jest gorszy od takiego, który mówi, że nie potrafi. Wszystkie trzy przypadki naprawiono w warstwie, która umożliwiła fałszywe stwierdzenie, a nie przez stanowczniejszą prośbę.