Человек потратил девять ходов, пытаясь определить лекарство по описанию. Трижды ассистент действительно искал. Шесть раз он говорил, что ищет, и не делал ничего. С перебоями, а это худший вид: это читается не как дефект, а как обман.
Первым нашим побуждением был промпт. Обычно так и бывает. И это было неверно.
Инструмент был на месте всё время
Веб-поиск отправлялся целиком при каждом из тех вызовов, и та же модель с тем же промптом действительно вызвала его в том же разговоре. Отобранный инструмент не может отказывать с перебоями.
Изменился бюджет рассуждений. Впустить семейство моделей в Auto означало опустить их усилие до минимума, чтобы они оставались доступными по цене, — а на пути, которым идут эти модели, эта настройка применялась независимо от того, просили о ней или нет. Опущенная так низко, модель не может сделать ни одного вызова инструмента. Она может только говорить о нём.
Та же форма ещё дважды
Когда узор найден, начинаешь видеть его повсюду. Попросите пятьдесят растущих монет с анализом — и таблица придёт с шестью строками: настоящий, открывающийся файл, который выглядит завершённым, пока его не прочтёшь. Инструкция, по которой работала модель, описывала форму файла и ничего не говорила о масштабе, поэтому её устраивала показательная выборка.
А после создания документа голосовой ассистент прочитал вслух весь адрес загрузки, посимвольно, девяносто секунд. Он не игнорировал инструкции: одна велела никогда не читать адреса вслух, другая — показать ссылку. На голосовой поверхности показать значит произнести.
Правило, которое мы заново усваиваем
Ассистент, рассказывающий о действии, которое не может выполнить, хуже того, который говорит, что не может. Все три случая исправлены на том уровне, который сделал ложное утверждение возможным, а не более настойчивой просьбой.