대부분의 인공지능 제품은 모델의 질과 아무 관계 없는 차원에서 실패합니다. 정직함에서 실패합니다——드러내 놓고 거짓말한다는 뜻이 아니라, 더 조용한 길에서. 호출의 비용을 감추는 것, 확신에 차 단서 없이 헛소리를 내놓는 것, 되찾을 수 없는 상태를 사라지게 두는 것, 그리고 스스로 만든 마찰에서 결코 배우지 않는 것. 이 실패들은 소홀함처럼 보일 때조차 설계의 결정입니다.
아래는 ToRun에서 짓는 모든 면을 재기 위해 안에서 쓰는 다섯 가지 틀의 틀거리입니다. 언제나 넘는다고 주장하지 않습니다. 이것이 옳은 물음이라고 주장합니다.
투명함: 진짜 상태와 진짜 비용을 보이기
고전적인 부정직의 틀은 흐릿한 「크레딧이 얼마간 쓰였습니다」입니다. 투명한 청구란, 지난 어떤 호출이든 들여다보고 무엇이 왜 청구되었는지 정확히 되짚을 수 있다는 뜻입니다——공급자, 모델, 양식, 쓴 단위, 실행 시점의 단가, 필요하다면 통화 환산, 그리고 플랫폼의 이문. 이 항목 가운데 하나라도 없거나 나중에 어림잡았다면 그 청구서는 지어낸 것입니다.
더 미세한 투명함의 실패는 모델 선택을 감추는 것입니다. 무른 상한에 닿았다고 제품이 조용히 요청을 값싼 모델로 낮추면, 못한 답을 받고도 끝내 모를 수 있습니다. 정직한 것은 어떤 모델이 돌았는지, 왜 골라졌는지, 대안이 무엇이었는지 말하는 것입니다. 배분의 결정은 살펴볼 수 있어야 하며 검은 상자여서는 안 됩니다.
투명함은 상태에도 미칩니다. 뒤에서 당신을 위한 일이 돌고 있다면 화면이 그렇게 말하고 멈출 길을 주어야 합니다. 취소할 수 없는 「처리 중」 표시는 작은 거짓말입니다.
되돌릴 수 있음: 무를 수 있게 하기
되돌릴 수 없음은 인공지능 제품에서 가장 낮잡아 보는 사용의 실패입니다. 작업 흐름에 메일을 보내라, 또는 채널에 올리라 하면 즉시 터지고, 유일한 구명줄은 손으로 쓴 사과뿐입니다. 중간 단계도, 걸린 것이 클 때의 확인도, 무르기도 없습니다.
되돌릴 수 있음의 틀은 제품이 읽기와 쓰기 작업을 가르고, 결과가 따르는 조치에는 확인 단계를 보이며, 잘못을 알아챌 만큼 상태를 붙들 것을 요구합니다. 인공지능이 만든 내용이라면, 공개 전에 초안이 있고, 생성된 산물이 삭제 뒤에도 되살아나며, 대화 세션을 잃기 전에 내보내거나 가지를 칠 수 있다는 뜻입니다.
되돌릴 수 있음은 설정에도 미칩니다. 설정을 바꾼 것이 뒤에 영향을 준다면——이를테면 앞으로의 모든 세션에서 기본 모델을 바꾼다면——제품은 바뀌기 전에 무엇이 바뀔지 말해야 하며, 바뀐 뒤가 아닙니다.
앞을 내다보는 돌봄: 해를 입기 전에 알리기
정직한 제품은 「이 메시지는 잔액의 상당 부분을 씁니다」라고 호출 전에 말하며, 나중의 영수증에서가 아닙니다. 「이 작업 흐름 단계에는 오류 처리가 없습니다. 앞 도구가 실패하면 실행은 조용히 멈춥니다」라고 짓는 동안 말하며, 새벽 두 시의 장애 중에가 아닙니다.
앞을 내다보는 돌봄이란, 무엇이 잘못될 수 있는지를 쓰는 사람의 시점에서 제품이 그려 보고 결정의 자리에서 보인다는 뜻입니다. 들리는 것보다 어렵습니다. 명령을 해내는 데 그치지 않고 뜻을 이해하기를 제품에 요구하기 때문입니다. 이미지 이백 장의 일괄 생성을 시키는 사람은 굳이 묻지 않아도 예상 비용을 먼저 알고 싶을 것입니다.
여기서의 실패 틀은 전환에 맞춰 조정하는 것——망설임을 낳는다고 비용 경고를 누르는 것입니다. 짧게 보면 개통이 늘 수 있습니다. 길게 보면 당신을 믿지 말라고 사람들에게 가르칩니다.
인식의 정직함: 모르는 것을 말하기
인공지능 모델은 지어냅니다. 인공지능 제품을 짓는 어느 팀이나 압니다. 부정직한 설계의 답은 모델의 출력을 한결같은 확신으로 내놓고 문제는 나중에 발견하게 두는 것입니다. 정직한 답은 불확실함을 알리는 분명한 길을 짓는 것입니다.
곧, 모델이 출처를 인용하면 그 참조는 진짜이고 열 수 있어야 합니다. 모델이 「내 학습 마감 시점 기준으로」라고 말하면, 그 단서는 화면에 남아야 하며 더 깔끔한 글을 위해 잘라 내서는 안 됩니다. 관련 대목을 찾지 못해 되찾기를 쓴 답이 모델 내부 지식으로 물러났다면, 답은 그렇게 말해야 하며 그 답을 근거가 있는 것처럼 내놓아서는 안 됩니다.
인식의 정직함은 제품 자체에도 미칩니다. 「이 기능은 실험 단계입니다」는 감출 경고가 아니라 믿음을 맞추는 데 필요한 정보입니다. 확신 점수가 있고 낮다면 보이십시오. 주 모델을 쓸 수 없어 배분이 보조 모델로 비켜 갔다면, 호출의 부속 정보에 그렇게 적으십시오.
배움의 고리: 되먹임을 닫기
가장 교묘한 사용의 실패는, 어디서 당신을 성가시게 했는지 결코 살피지 않기에 당신을 섬기는 데 끝내 나아지지 않는 제품입니다. 꺼진 듯 보이지만 켜져 있는 단추를 네 번 성나게 누르는 것은 신호입니다. 생성을 늘 중간에 그만두는 것은 신호입니다. 답마다 같은 고침을 쓰는 것은 신호입니다.
정직한 플랫폼은 이 신호들을 드러내 놓고 모으고, 배분과 기본값을 낫게 하는 데 쓰며, 무엇을 배웠는지 보입니다. 이용 약관 각주의 「제품 개선을 위해 자료를 씁니다」가 아니라 보이는 되먹임으로——「코드 작업에서 자동으로 고른 모델에서 특정 모델로 자주 바꾸시는 것 같습니다. 그것을 기본으로 할까요?」
배움의 고리에는 플랫폼이 틀렸음을 인정하는 일도 듭니다. 모델이 사실로 틀린 답을 냈고 누군가 그것을 고쳤다면, 그 고침은 천 번의 좋아요보다 값집니다. 그렇게 대하는 것이 그 사람에 대해서도, 제품 자신의 조율에 대해서도 정직한 행위입니다.
그 기준선
이 다섯 가지 틀 가운데 기술적으로 어려운 것은 없습니다. 어려운 것은 우선하는 일입니다. 때로 짧은 기간의 관여 지표를 낮추기 때문입니다. 비용 경고를 보는 사람은 망설입니다. 불확실함의 알림을 보는 사람은 낱낱의 답을 덜 믿습니다. 무를 수 있는 사람은 덜 묶입니다.
정직한 설계의 내기는, 이런 마찰이 오래가는 믿음을 쌓고, 그 믿음이야말로 인공지능처럼 파장이 큰 분야에서 제품이 설 수 있는 유일한 토대라는 것입니다. 정직함의 기준선을 건너뛰는 플랫폼은 관계를 쌓는 것이 아니라 느린 캐냄을 벌이는 것입니다. 그 차이는 이탈에, 문의의 양에, 그리고 정말로 쌓이는 입소문의 결에 드러납니다.
ToRun의 모든 면을 내놓기 전에 이 다섯 가지 틀에 비추어 잽니다. 그래도 놓칩니다. 그럴 때에도 감사의 자취가 충분히 드러나 있어, 누군가 우리에게 알려 줄 수 있습니다.