어떤 사람이 설명만으로 약을 알아내려고 아홉 차례를 썼습니다. 세 번은 어시스턴트가 정말 검색했습니다. 여섯 번은 검색 중이라고 말하고 아무것도 하지 않았습니다. 간헐적이고, 그게 가장 나쁜 종류입니다. 결함처럼 읽히지 않고 거짓말처럼 읽히니까요.
우리의 첫 직감은 프롬프트였습니다. 대개 그렇습니다. 그리고 틀렸습니다.
도구는 내내 거기 있었다
웹 검색은 그 호출들 하나하나에 온전히 실려 갔고, 같은 모델이 같은 프롬프트로 같은 대화 안에서 실제로 호출도 했습니다. 빼앗긴 도구는 간헐적으로 실패할 수 없습니다.
바뀐 것은 사고 예산이었습니다. 어떤 모델 계열을 Auto에 들이려면 감당 가능한 비용을 지키려고 추론 노력을 바닥까지 내려야 했고, 그 모델들이 지나는 경로에서는 요청 여부와 무관하게 그 설정이 적용됐습니다. 그렇게 내려간 모델은 도구 호출을 아예 할 수 없습니다. 하겠다고 말할 수만 있습니다.
같은 모양이, 두 번 더
패턴을 한 번 잡으면 여기저기서 보이기 시작합니다. 상승 중인 코인 오십 개를 분석과 함께 요청하면 스프레드시트가 여섯 줄로 옵니다. 열리는 진짜 파일이고, 읽기 전까지는 완성돼 보입니다. 모델이 따르던 지시는 파일의 모양을 설명했을 뿐 규모에 대해서는 아무 말이 없었고, 그래서 대표적인 표본으로도 조건이 충족됐습니다.
그리고 문서를 만든 뒤, 음성 어시스턴트는 다운로드 주소 전체를 한 글자씩 구십 초 동안 읽었습니다. 지시를 무시한 게 아닙니다. 하나는 «주소를 절대 소리 내 읽지 말라»였고 다른 하나는 «링크를 보여주라»였습니다. 말하는 화면에서 보여준다는 것은 곧 말한다는 뜻입니다.
계속 다시 배우는 원칙
할 수 없는 행동을 이야기하는 어시스턴트는 할 수 없다고 말하는 어시스턴트보다 나쁩니다. 세 경우 모두 거짓 진술을 가능하게 만든 층에서 고쳤습니다. 더 단호하게 부탁해서 고친 것이 아닙니다.