어느 AI 제공업체에나 좋지 않은 순간이 있습니다. 모델이 과부하되고, 한 지역이 흔들리고, 엔드포인트가 구십 초 동안 오류를 돌려줍니다. 이상한 일이 아닙니다. 중요한 것은 그 구십 초 동안 앱이 무엇을 하느냐입니다.
이번 주까지 저희 앱은 대개 포기했습니다. 이미지와 음성, 받아쓰기는 몇 달 전부터 형제 모델로 옮겨 갈 수 있었습니다. 텍스트는 어디에서도 그러지 못했고, 그래서 제공업체의 좋지 않은 순간은 워크플로를 끝내듯 대화 중인 답변도 끝냈습니다.
같은 질문을 다른 모델에게
이제 모든 텍스트 호출은 다른 곳에 물어볼 줄 아는 하나의 경로를 지납니다. 채팅의 본 답변과 그 뒤의 도구 실행, 이어 쓰기, 심층 리서치, 이미지 이해 다리, 프롬프트 개선, 워크플로 안의 텍스트 단계, 그리고 음악 생성입니다. 대체 모델은 아무렇게나 고른 저렴한 모델이 아니라, 그 요청에 실제로 필요한 능력을 가진 형제입니다.
한 가지 경우는 일부러 제외했습니다. 답변이 화면에 나타나기 시작했다면 그대로 둡니다. 다른 모델로 다시 시작한다는 것은 이미 읽은 문장을 고쳐 쓰거나 뒤집는 일이고, 그것은 정직한 오류보다 나쁩니다.
답한 모델에게 지불하기
흥미로운 절반은 청구입니다. 호출을 다른 곳으로 넘기는 일은 쉽지만, 그것을 정직하게 기록하는 일은 쉽지 않습니다. 넘길 때마다 첫 번째 모델의 가격이 남아 있어서, 넘겨진 호출은 방금 쓰러진 모델의 요율로 청구되었습니다. 이제 체인은 실제로 실행된 모델의 전체 스냅숏, 즉 가격과 컨텍스트 창과 마진을 호출한 쪽에 그대로 넘깁니다. 그래서 결제 내역의 한 줄은 일을 한 모델을 그 모델의 요율로 적습니다.
그리고 아무것도 되지 않을 때
다른 모델로 넘기는 것이 언제나 가능하지는 않습니다. 실행이 정말로 실패하면, 아무것도 만들지 못한 단계의 돈이 이제 빠져나간 자리로 되돌아옵니다. 그것이 이번 주의 나머지 절반이고, 따로 글이 있습니다.