어떤 사람이 흔히 쓰이는 항우울제를 언제, 어떻게 복용해야 하는지, 식전인지 식후인지, 그리고 무엇이 들어 있는지 물었습니다. 질문은 러시아어로 했고, 인터페이스는 터키어였습니다. 자동 모드로 설정된 엔진은 정형화된 거절 문구——그것도 영어로——를 답했습니다. 러시아어로 답하라고 하자, 이번에는 러시아어로 다시 거절했습니다. 1분 뒤 그 대화는 삭제되었습니다. 다른 모든 어시스턴트는 이 질문에 답을 하며, 같은 대답을 기대한 그 사람은 틀리지 않았습니다.
삭제된 대화 하나에서 네 가지 결함이 드러났습니다.
정보는 조언이 아닙니다
어떤 약이 무엇을 위한 것인지, 어떻게 복용하는지, 무엇이 들어 있는지, 처방이 필요한지——이는 첨부 문서에 나와 있는, 공개되고 근거 있는 정보입니다. 시스템 프롬프트는 이제 이를 분명히 밝히고 있습니다. 답변하되, 개인적인 결정에 대해서는 전문가와 상담하라는 한 문장을 덧붙이고, 반드시 거절해야 하는 것——과다 복용, 자해, 처방을 우회하는 방법——은 계속 거절하라는 것입니다. 답변 범위를 넓힌 것이 허용 범위를 넓힌 것은 아닙니다. 이는 그동안 침묵해왔던 중간 지대에 이름을 붙인 것일 뿐이며, 그 침묵 속에서 작은 모델이 스스로 정책을 만들어내고 있었던 것입니다.
거절도 하나의 응답입니다
응답은 메시지의 언어를 따라야 한다는 규칙은 긴 프롬프트의 끝부분에서 멀리 떨어진 곳에 있었고, 거절 템플릿은 이를 건너뛰기 가장 쉬운 응답이었습니다. 이제 이 규칙은 모델이 마지막으로 읽는 위치에서 다시 반복되며, 인터페이스 언어는 숫자나 링크만 있는 경우의 판단 기준으로만 쓰입니다. 터키어 화면에서의 러시아어 질문에는 러시아어로 답하고, 거절해야 한다면 러시아어로 거절합니다.
그 밑에는 더 근본적인 원인이 있었습니다. 응답을 스트리밍하는 서버 쪽 처리는 요청과 분리되어 실행되었고, 요청의 언어 설정은 그곳까지 전달되지 않았습니다. 그 결과 스트리밍되는 모든 턴은 서버 자체의 언어로 실행되었고, 스트림 중에 나올 수 있는 20여 개의 시스템 메시지도 마찬가지였습니다. 이제 이 언어 설정은 시작 시점에 포착되어 실행 과정 내부에서 다시 적용됩니다. 웹이든 휴대폰이든 모든 스트리밍 클라이언트가 요청과 함께 자신의 언어를 보내게 되었는데, 이는 이전에는 넷 중 셋이 하지 못했던 부분입니다.
빈 응답은 그럴듯한 상태 코드를 두른 실패일 뿐입니다
한 엔진은 때때로 완료 상태이지만 내용이 없는 응답을 반환했습니다. 앱은 이를 정상적으로 끝난 턴으로 받아들여 '도구 실행이 완료되었습니다'라는 자리 표시자를 보여주었습니다. 이제 이는 첫 토큰 이전에 발생하는 다른 실패와 동일하게 처리됩니다. 자동 모드에서는 다른 엔진이 그 턴을 이어받고, 명시적으로 선택한 경우에는 정직하고 현지화된 오류가 표시됩니다. 이런 현상이 가장 잦았던 엔진들은 자동 모드 후보군에서 제외되었습니다——이는 지난여름 초에 특정 모델군을 제외했던 것과 같은 기준을, 같은 증거에 적용한 결과입니다.
'나중'이란 없습니다
'몇 분 후에 보내드릴게요'는 사람이 하는 말입니다. 채팅의 한 턴은 그럴 수 없습니다——지금 만들어지지 않은 것은 절대 오지 않으며, 그 약속은 정중한 문장을 두른 실패일 뿐입니다. '나중에'를 약속한 응답은 앱이 지원하는 스물아홉 개 언어 모두에서, 그리고 채팅뿐 아니라 어시스턴트 버블에서도, 그 턴 안에서 실제로 전달될 때까지 재시도됩니다.
이 중 어느 것도 모델의 업그레이드가 아닙니다. 인터페이스가 이미 하고 있는 약속을 모델이 지키도록 만드는, 모델 주변의 배관 작업일 뿐입니다.