대부분의 인공지능 제품은 「당신을 기억한다」고 말합니다. 보통 그 뜻은 지금의 대화 창이 아직 흘러가지 않았다는 것입니다. 탭을 닫는 순간, 모델은 당신이 누구인지 알지 못합니다. 기술 구성도, 취향도, 제약도 매번 처음부터 다시 설명하게 됩니다.
ToRun의 장기 기억은 전혀 다른 장치입니다. 이 글은 그것이 무엇을 간직하는지, 차례마다 어떻게 엮이는지, 그리고 당신이 무엇을 할 수 있는지를 적습니다.
무엇을 간직하고 왜 간직하는가
ToRun의 기억은 당신의 대화에서 뽑아낸 지속적 사실의 모음입니다. 기록을 통째로 쏟아 낸 것이 아니라 구조화된 메모라고 생각하십시오. 간결한 답을 좋아한다, 프로젝트가 MongoDB를 쓴다, TypeScript로 일한다, 기계 학습 소양이 있다, 코드 보기는 특정한 방식으로 원한다——이런 낱낱의 관찰입니다.
사실은 언어에 매이지 않습니다. 세 번은 터키어로, 열 번은 영어로 써도 기억 체계가 언어별 섬으로 갈라지지 않습니다. 유니코드를 헤아린 정규화(NFKD 분해, 구별 부호 제거, 대소문자 통일) 덕에 한 언어로 넣은 사실이 다른 언어로 물을 때 떠오릅니다. 실무에서 이는 중요합니다. 29개 언어의 플랫폼이 영어를 쓰는 이에게만 잘 듣는 기억으로 버틸 수는 없습니다.
새 사실은 모델이 지속적 정보를 알아챌 때 저절로 더해질 수도 있고, 당신이 분명히 밝힐 수도 있습니다(「Azure에 배포한다는 것을 기억해」). 두 길 어느 쪽도 당신에게 감추어지지 않습니다.
기억이 호출 시점에 맥락이 되기까지
ToRun의 모든 대화 차례는 요청이 모델에 닿기 전에 세 개의 맥락 층을 엮습니다.
- 체계 층——제품 수준의 지시, 도우미의 역할과 말투, 유효한 지식 기반 지시.
- 요약 층——그때까지의 대화를 압축한 표현. 긴 갈래가 모델의 맥락 창을 다 써 버리지 않도록 자동으로 관리됩니다.
- 최근 층——최근 N개의 차례를 그대로. 방금 말한 것에 더 큰 무게가 실립니다.
장기 기억은 체계 층에 들어갑니다. 되찾기 단계는 지금 메시지에서 얻은 관련도 신호를 써서 저장된 사실 위를 지납니다. 데이터베이스 색인을 물으면 MongoDB 취향에 관한 사실이 떠오르고, 설계로 옮겨 가면 물러납니다. 모델이 보는 것은 지금 차례에 관련된 것뿐이며, 여태 만들어 낸 모든 사실을 평평하게 쏟아 낸 것이 아닙니다. 그렇게 맥락 창을 알뜰히 쓰고, 무관한 개인적 세부가 신호를 묽게 하는 「기억의 부풂」을 막습니다.
맥락 한도는 등급에 따릅니다. 무료 등급은 전체 1만 6천 토큰이며, 구독 단계를 오르며 Enterprise에서는 100만 토큰에 이릅니다. 엮인 맥락(기억＋요약＋최근 차례)이 모델의 창을 넘으면, ToRun은 먼저 요약 층을 다듬고, 가장 새 메시지나 가장 관련 깊은 기억의 사실을 조용히 버리는 일은 결코 없습니다.
사실은 당신의 것이고, 당신이 다룹니다
기억은 그것을 쓰는 사람의 것입니다. ToRun이 당신에 관해 저장한 모든 것을 나열할 수 있고, 낱개든 전부든 지울 수 있습니다. 당신이 모르는 채 대화에 영향을 주는 「숨은」 기억은 없습니다. 사실 저장소는 들여다볼 수 있고, 요구하면 잊게 할 수 있습니다.
이 선택은 더 넓은 원칙에서 나옵니다. ToRun은 실제 상태를 보여야 하며 감추어서는 안 된다는 것입니다. 투명한 기억은 믿을 수 있는 기억이라는 뜻입니다. 모델이 잘못된 사실에 따라 움직인다면——이를테면 예전에 긴 설명을 좋아한다고 적어 두었는데 지금은 간결한 것을 원한다면——잊으라고 이르면 다음 호출은 그 사실을 보지 않습니다.
삭제는 영구적이고 즉각적입니다. 옛 사실이 계속 떠오르는 유예 기간은 없습니다.
지식 기반은 기억이 아닙니다
기억은 당신에 관한 사실을 간직합니다. 지식 기반은 당신의 문서 에 답을 뿌리내리게 합니다.
문서, 코드, 분야 내용을 지식 기반에 올리면, ToRun은 검색으로 보강한 생성(RAG)을 써서 질문 시점에 관련 대목을 끌어올립니다. 되찾은 글이 대화 맥락 곁에 끼워지고, 모델은 무엇을 썼는지 밝힙니다. 개인의 취향을 떠올리는 대신 출처 자료——API 명세, 법률 문서, 사내 지침——를 읽어야 하는 물음에 알맞은 도구입니다.
두 체계는 어우러집니다. 한 차례가 당신의 개인적 기억의 사실과 지식 기반의 되찾기 양쪽에서 길어 올 수 있습니다. 맥락 엮음의 서로 다른 층을 먹이고 서로 다른 목적에 이바지합니다. 기억은 「당신이 누구이며 어떻게 일하기를 좋아하는가」에 답하고, 지식 기반은 「이 문서가 무엇을 말하는가」에 답합니다.
둘을 함께 쓰는 것이 ToRun을 시연이 아니라 실제 일에 쓸모 있게 만듭니다. 취향은 기억에 남아 되풀이하지 않아도 되고, 출처 자료는 지식 기반에 남아 답이 모델의 학습 자료가 아니라 근거에 기댑니다.