누군가가 러시아어 텍스트가 담긴 카드 이미지를 첨부하고, 러시아어로 같은 카드를 터키어로 만들어 달라고 요청했습니다. 돌아온 것은 두 장의 이미지였고, 둘 다 과금되었으며, 배경이 다르고, 어떤 언어로도 단어가 되지 않는 글자가 적혀 있었습니다. 응답은 그 이미지들을 터키어로 「아래 링크에서」 가져온 것이라고 설명했습니다.
하나의 신고, 세 가지 별개의 오류. 어느 하나만으로는 이런 결과가 나올 수 없었습니다.
저비용 경로는 철자를 쓸 줄 모른다
이미지 도구는 기본적으로 「보통」 품질을 요청하며, 품질 선호가 없는 보통 요청은 비용순으로 정렬된 라우터 분기로 들어가 가장 저렴한 활성 이미지 모델로 귀결됩니다. 그 모델은 확산 모델입니다. 확산 모델은 이미지에는 매우 뛰어나지만 글자에는 악명 높을 정도로 약하며, 라틴 알파벳 밖의 문자에서는 더 심합니다.
이는 「숲 속의 여우」에는 괜찮은 기본값이지만, 텍스트 자체가 결과물인 포스터, 초대장, 메뉴, 카드에는 나쁜 기본값입니다. 이런 종류의 요청은 이제 저비용 경로를 벗어납니다. 프롬프트는 그 징후를 읽어냅니다 — 따옴표로 감싼 문구, 전부 대문자인 줄, 글머리 기호 목록, 대부분 텍스트로 이루어진 것들을 위한 여러 알파벳에 걸친 제한된 단어 목록 — 그리고 도구에는 모델이 알고 있을 때 설정할 수 있는 명시적인 플래그도 있습니다. 부정 표현은 먼저 제거되어 「글자 없이」가 이를 잘못 유발하지 않습니다. 두 신호 중 하나라도 있으면 호출은 품질 등급으로 보내집니다. 어떤 이미지 등급을 받을지는 여전히 사용자의 선택이며, 이것은 단지 어떤 모델이 시도할 자격이 있는지를 결정할 뿐입니다.
이미지를 볼 수 없었던 모델
두 번째 오류가 더 심각합니다. 그저 평범한 글자가 아니라 뒤죽박죽인 글자를 만들어낸 것이 바로 이 오류였기 때문입니다. 「이미지 만들어줘」와 「이 이미지 바꿔줘」를 인식하는 탐지기는 영어와 터키어를 위해 작성되어 있었습니다. 러시아어 문장은 둘 중 어느 것과도 일치하지 않았고, 그래서 이 턴은 시각이 필요한 것으로 표시된 적이 없었고, 시각 능력이 없는 텍스트 모델로 넘어갔습니다. 그 모델은 그 문장을 프롬프트로 삼아 이미지 도구를 호출했습니다. 한 번도 본 적 없는 것을 처음부터 그려내고 있었던 것입니다.
두 경우 모두를 위한 러시아어 패턴이 추가되었습니다. 더 중요한 것은 이 모든 일을 일으킨 표현에 대한 방어 장치가 추가되었다는 점입니다. 「같은 것」, 「aynısını」, 「такую же」, 「내가 보낸 것과 같은」. 요청이 첨부된 이미지를 가리킬 때, 새로 생성하도록 강제하는 것은 사소한 실수가 아닙니다. 이는 잘못된 것이고, 과금됩니다.
도구가 자기 자신을 잘못 설명하고 있었다
세 번째 오류는 가장 단순한 방식으로 민망합니다. 이미지 도구의 설명은 여전히 편집 도구가 「아직 연결되지 않았다」고, 결과가 링크로 돌아온다고 되어 있었습니다. 둘 다 한동안 사실이 아니었습니다. 그래서 모델은 사용했어야 할 편집 도구를 피하고, 삽입된 이미지를 링크라고 설명했습니다.
설명은 다시 작성되었습니다. 각 도구가 실제로 무엇을 하는지, 「다른 언어로 된 같은 카드」는 편집이라는 것, 결과는 이미지이며 절대 링크가 아니라는 것, 모델은 그것을 볼 수 없다는 것, 그리고 설명은 사용자의 언어로 되어야 한다는 것. 이제 모든 이미지 결과는 그것에 대해 어떻게 말해야 하는지에 대한 힌트를 담고 있습니다.
이 세 가지 수정 사항은 모두 원본 대화를 한 단어씩 그대로 재현하는 테스트로 고정되어 있으며, 여전히 저비용 경로로 가야 하는 경계선상의 사례들도 포함되어 있습니다.