多くのAI製品は、モデルの質とは何の関わりもない次元で失敗します。誠実さで失敗するのです——あからさまな嘘という意味ではなく、もっと静かな道筋で。呼び出しの費用を隠すこと、たわごとを確信をもって留保なく述べること、取り戻せない状態を消えるに任せること、そして自ら生んだ摩擦から決して学ばないこと。これらの失敗は、うっかりに見えるときでさえ設計の決定です。
以下は、ToRunで作るあらゆる面を評価するために社内で使っている五つの型の枠組みです。いつも越えていると主張はしません。これらが正しい問いだと主張します。
透明性——本当の状態と本当の費用を見せる
古典的な不誠実の型は、曖昧な「いくらか消費されました」です。透明な請求とは、過去のどの呼び出しでも見返して、何がなぜ課金されたのかを正確に組み立て直せるということです——提供元、モデル、様式、消費した単位、実行時点の単価、必要なら通貨の換算、そしてプラットフォームの上乗せ。これらの項目のどれかが欠けていたり、後から見積もられていたりすれば、その請求は作り話です。
より細かな透明性の失敗は、モデルの選択を隠すことです。柔らかい上限に触れたからと、製品が黙って要求を安いモデルへ落とせば、劣った答えを受け取っても気づかないかもしれません。誠実なのは、どのモデルが動いたか、なぜ選ばれたか、代わりに何があったかを述べることです。振り分けの決定は点検できるべきで、黒い箱であってはなりません。
透明性は状態にも及びます。裏で仕事が動いているなら、画面はそう述べ、止める手立てを与えるべきです。取り消せない「処理中」の表示は、小さな嘘です。
取り消しやすさ——元に戻させる
取り消せないことは、AI製品で最も過小評価された操作上の失敗です。ワークフローにメールを送るよう、あるいは経路に投稿するよう頼むと即座に飛び出し、唯一の救いは手書きの謝罪です。中間の段はなく、賭けが大きいときの確認もなく、取り消しもありません。
取り消しやすさの型は、製品が読み取りと書き込みの操作を区別し、結果を伴う操作には確認の段を見せ、誤りに気づけるだけの間、状態を保つことを求めます。AIが生んだ内容については、公開の前に下書きが存在し、生成された成果物が削除後も取り戻せ、チャットのセッションが失う前に書き出せる、あるいは枝分かれできるということです。
取り消しやすさは設定にも及びます。設定の変更が後々に効くなら——たとえば今後のすべてのセッションで既定のモデルを替えるなら——製品は変わる前に何が変わるかを述べるべきで、後からではありません。
先を見る配慮——損なわれる前に知らせる
誠実な製品は「このメッセージは残高のかなりの部分を使います」と呼び出しの前に述べ、後の領収書でではありません。「このワークフローの段には誤りの処理がありません。前のツールが落ちれば、実行は静かに止まります」と、作っている最中に述べます。午前二時の障害の最中ではなく。
先を見る配慮とは、使う人の視点から何がうまくいかなくなりうるかを製品が模し、決断の場でそれを示すことです。聞こえるより難しいのは、命令をこなすだけでなく意図を理解することを製品に求めるからです。二百枚の一括生成を頼む人は、明示的に尋ねずとも、見積もりの費用を先に知りたいでしょう。
ここでの失敗の型は、成約に合わせて調整すること——ためらいを生むからと費用の警告を抑えることです。短期には登録が増えるかもしれません。長期には、あなたを信じないことを人に教えます。
認識の誠実さ——知らないことを述べる
AIのモデルは作り話をします。AI製品を作るどのチームも知っています。不誠実な設計の答えは、モデルの出力を一様な確信で差し出し、問題は後で見つけさせることです。誠実な答えは、不確かさを示すはっきりした道筋を作ることです。
つまり、モデルが出典を挙げるなら、その参照は本物で開けるものでなければなりません。モデルが「私の学習の締め切り時点では」と述べるなら、その留保は画面に見えたまま残るべきで、整った文章のために切り落としてはなりません。関わりの深い箇所が見つからず、検索を伴う答えがモデル内部の知識に戻ったなら、答えはそう述べるべきで、その答えを裏づけのあるものとして差し出してはなりません。
認識の誠実さは製品そのものにも及びます。「この機能は試験段階です」は隠すべき注意書きではなく、信頼を調えるために必要な情報です。確信の値があって低いなら、見せてください。主のモデルが使えず振り分けが副のモデルへ逸れたなら、呼び出しの付帯情報にそう述べてください。
学びの環——手応えの輪を閉じる
最も狡い操作上の失敗は、どこであなたを苛立たせたかを決して見ないために、あなたに仕えることが一向に上手くならない製品です。使えないように見えて実は使えるボタンを四度いらだって押すのは合図です。生成を途中でいつも取りやめるのは合図です。答えのたびに同じ直しを書くのは合図です。
誠実なプラットフォームはこれらの合図を露わに捉え、振り分けと既定値の改善に使い、何を学んだかを見せます。利用規約の脚注にある「製品改善のためにデータを使います」ではなく、見える手応えとして——「コードの作業では自動で選ばれたモデルから特定のモデルへよく切り替えているようです。それを既定にしますか」。
学びの環には、プラットフォームが間違っていたと認めることも含まれます。モデルが事実として誤った答えを出し、誰かがそれを直したなら、その直しは千の高評価より価値があります。そう扱うことは、その人に対しても、製品自身の調整に対しても、誠実さの行いです。
その水準
この五つの型はどれも技術的に難しくありません。難しいのは優先することです。短期の関与の指標を下げることがあるからです。費用の警告を見る人はためらいます。不確かさの知らせを見る人は個々の答えを信じにくくなります。取り消せる人ほど縛られません。
誠実な設計の賭けは、こうした摩擦が長く続く信頼を築き、その信頼こそAIのように影響の大きい分野で製品が立てる唯一の土台だということです。誠実さの水準を飛び越すプラットフォームは関係を築いていません——ゆっくりとした収奪を営んでいます。その差は解約に、問い合わせの量に、そして本当に積み上がる口伝えの質に現れます。
ToRunのすべての面を、出す前にこの五つの型に照らして評価しています。それでも外します。そうなったときも、監査の道筋は十分に露わなので、誰かがそれを教えてくれます。