단일 모델의 덫
큰 인공지능 공급자는 모두 자사의 대표 모델이 어떤 물음에도 옳은 답이라고 믿게 하고 싶어 합니다. 그 믿음은 그들에게 장사로 편하고 당신에게 기술적으로 틀렸습니다.
긴 맥락의 법률 추론에서 빛나는 모델이 열 낱말짜리 설명을 짓는 데 맞는 모델은 아닙니다. 최신 시각을 갖춘 모델은 구조화된 JSON을 다시 꾸미는 일괄 처리에 과하고, 아마 너무 비쌉니다. 처리량에 맞춰 값이 매겨진 모델은 두 초 안에 답이 필요할 때 생각할 수 있는 가장 나쁜 선택일 수 있습니다.
하나의 모델 위에 지을 때, 당신은 가장 좋은 도구를 고르는 것이 아닙니다. 인위적인 제약 안에서 가장 좋은 도구를 고르는 것입니다. 시간이 가면 그 제약이 쌓입니다. 단순한 일에 지나치게 치르고, 복잡한 일에서는 못 미치며, 그 공급자에 장애나 가격 인상이 생기면 제품 전체가 멈춥니다.
이름이 아니라 역량
쓸모 있는 추상은 「어떤 모델인가」가 아니라 「이 요청에 어떤 역량이 필요한가」입니다. 이 물음에는 정확한 답이 있습니다.
화면 갈무리를 붙인 대화 메시지에는 시각이 필요합니다. 바깥 API를 부르는 작업 흐름 단계에는 도구가 필요합니다. 자기 출력을 검증해야 하는 코드 도우미에는 코드 실행이 필요합니다. 빠를 필요가 없는 야간 간추림 통로는 일괄 가격을 쓸 수 있지만, 사람이 기다리는 제품 안의 도우미는 그럴 수 없습니다.
역량 요건을 먼저 늘어놓으면 모델 고르기는 거르고 줄 세우는 일이 됩니다. 요구되는 묶음——이를테면 문장, 시각, 구조화된 출력——이 주어지면 셋 모두를 지원하는 모델을 찾고, 지금 요청의 맥락에 맞춰 품질과 가격으로 줄 세웁니다. 그 줄은 그 사람이 무엇을 하는지, 자금 형편이 어떤지에 따라 요청마다 달라질 수 있습니다.
ToRun의 배분 통로가 하는 일이 바로 이것입니다. 모드(대화, 코드, 이미지, 조사 등)가 역량 묶음으로 대응됩니다. 묶음이 모델 목록을 거릅니다. 가격과 품질의 순위가 승자를 고릅니다. 그 결과, 많은 양의 구조화된 뽑아내기에는 DeepSeek을, 결이 고운 추론에는 Claude나 GPT-4급 모델을, 긴 맥락의 문서 작업에는 Google Gemini를, 생성에는 전용 이미지 모델을——모두 같은 제품 면에서, 나누는 논리를 직접 쓰지 않고 쓸 수 있습니다.
대체 사슬은 있으면 좋은 덤이 아닙니다
공급자의 장애는 드문 가장자리 사례가 아닙니다. 업계 전체에서 달마다 여러 번 일어납니다. 제품이 한 공급자에 기대는데 그 API가 나빠지면 제품도 함께 나빠집니다.
대체 사슬은 운영의 최소치입니다. 주 모델이 어떤 요청에 일시적 오류를 돌려주면, 플랫폼은 다음으로 알맞은 모델에서 다시 시도합니다. 이는 배분 층이 어떤 모델이 알맞은지 이미 안다는 것을 전제합니다——바로 역량에 따른 배분이 주는 것입니다.
대체 사슬에는 덜 드러나는 이점이 하나 더 있습니다. 청구의 움직임을 내다볼 수 있게 지킨다는 것입니다. 첫 선택의 모델이 잠시 사용 상한을 넘겼다면, 다음으로 알맞은 모델로 비켜 가는 것이 오류를 보이지 않으면서 비용을 범위 안에 둡니다.
실무의 결론
인공지능 플랫폼을 견줄 때 두 가지를 물으십시오. 요청마다 어떻게 모델을 고르는가. 그리고 그 모델을 쓸 수 없거나 너무 비싸질 때 무슨 일이 일어나는가.
어느 쪽이든 답이 「늘 X 모델을 쓴다」라면 그것은 구조의 냄새입니다. 오늘 쓸 수 있는 모델이 여섯 달 뒤 가장 좋은 모델은 아닙니다. 새 공급자가 나타납니다. 값이 움직입니다. 역량의 경계가 바뀝니다. 모델 고르기를 설정의 결정이 아니라 배분의 문제로 다루는 구조는 더 잘 늙고, 시간이 갈수록 덜 들며, 압력 아래서 더 곱게 나빠집니다.
하나의 모델은 출발점입니다. 배분 층이 진짜 토대입니다.