Большинство ИИ-продуктов проваливаются по измерению, не имеющему отношения к качеству модели. Они проваливаются в честности — не в смысле открытой лжи, а по более тихим путям: скрывать, сколько стоит вызов, уверенно и без оговорок утверждать чепуху, позволять исчезать состоянию, которое уже не вернуть, и никогда не учиться на трении, которое они создают. Эти провалы — решения дизайна, даже когда выглядят недосмотром.
Ниже — рамка из пяти приёмов, которую мы в ToRun используем внутри, чтобы оценивать каждую создаваемую поверхность. Мы не утверждаем, что всегда её берём. Мы утверждаем, что это правильные вопросы.
Прозрачность: показывать действительное состояние и действительную стоимость
Классический нечестный приём — расплывчатое «израсходовано некоторое количество кредитов». Прозрачный биллинг означает, что можно посмотреть любой прошлый вызов и в точности восстановить, что было списано и почему — поставщик, модель, модальность, потреблённые единицы, ставка на момент выполнения, пересчёт валюты, если он был, и маржа платформы. Если хоть одно из этих полей отсутствует или оценивается задним числом, счёт — вымысел.
Более тонкий провал прозрачности — скрывать выбор модели. Если продукт молча понижает ваш запрос до более дешёвой модели, потому что вы упёрлись в мягкий лимит, вы можете получить худший ответ и никогда об этом не узнать. Честно — сказать, какая модель отработала, почему её выбрали и какие были альтернативы. Решение о маршрутизации должно быть осматриваемым, а не чёрным ящиком.
Прозрачность касается и состояния. Если для вас идёт фоновая задача, интерфейс должен об этом сказать и дать способ её остановить. Индикаторы «обрабатывается», которые нельзя отменить, — это маленькая ложь.
Обратимость: позволять отменять
Необратимость — самый недооценённый провал интерфейса в ИИ-продуктах. Вы просите процесс отправить письмо или опубликовать в канале, он срабатывает немедленно, и единственный выход — написанное вручную извинение. Ни промежуточного шага. Ни подтверждения, когда ставки высоки. Ни отмены.
Приём обратимости требует, чтобы продукты различали операции чтения и записи, показывали шаги подтверждения для действий с последствиями и удерживали состояние достаточно долго, чтобы ошибки можно было заметить. Для сгенерированного ИИ содержимого это значит: черновики существуют до публикации, сгенерированные артефакты восстановимы после удаления, а сессии чата можно выгрузить или ответвить, прежде чем их потерять.
Обратимость касается и настроек. Если изменение параметра имеет последствия дальше — например, смена модели по умолчанию для всех будущих сессий, — продукт должен сказать, что изменится, до того как это изменится, а не после.
Упреждающая забота: предупреждать до вреда, а не после
Честный продукт говорит «это сообщение съест заметную долю вашего баланса» до вызова, а не в чеке после. Он говорит «у этого шага процесса нет обработки ошибок; если предыдущий инструмент упадёт, прогон тихо остановится», пока вы его строите, а не во время инцидента в два часа ночи.
Упреждающая забота означает, что продукт моделирует, что может пойти не так с точки зрения человека, и показывает это в точке решения. Это труднее, чем звучит, потому что требует от продукта понимания намерения, а не просто исполнения команд. Тот, кто заказывает пакетную генерацию 200 изображений, скорее всего, хочет знать оценку стоимости заранее, даже не спрашивая явно.
Приём провала здесь — оптимизация под конверсию: подавлять предупреждения о стоимости, потому что они вызывают колебания. В краткосрочной перспективе это может поднять активацию. В долгосрочной — учит людей вам не доверять.
Познавательная честность: говорить, чего не знаешь
ИИ-модели выдумывают. Любая команда, строящая ИИ-продукты, это знает. Нечестный дизайнерский ответ — подавать выводы модели с равномерной уверенностью и позволить человеку обнаружить проблему позже. Честный ответ — строить явные пути сигнализации неопределённости.
Это значит: когда модель ссылается на источники, ссылки должны быть настоящими и открываемыми. Когда модель говорит «на момент отсечки моего обучения», эта оговорка должна оставаться видимой в интерфейсе, а не вырезаться ради более чистого текста. Когда ответы с извлечением откатываются к параметрическому знанию, потому что релевантного фрагмента не нашлось, ответ должен об этом сказать, а не подавать параметрический ответ как обоснованный.
Познавательная честность распространяется и на сам продукт. «Эта функция экспериментальна» — не предупреждение, которое надо прятать, а сведения, нужные человеку для калибровки доверия. Если есть оценка уверенности и она низкая, покажите её. Если конвейер маршрутизации ушёл на запасную модель, потому что основная была недоступна, скажите это в метаданных вызова.
Петля обучения: замкнуть обратную связь
Самый коварный провал интерфейса — продукт, который никогда не становится лучше в служении вам, потому что никогда не наблюдает, где он вас разозлил. Четыре раза в сердцах ткнуть в кнопку, которая выглядит отключённой, но не отключена, — сигнал. Регулярно бросать генерацию на полпути — сигнал. Писать одну и ту же правку после каждого ответа — сигнал.
Честная платформа собирает эти сигналы открыто, использует их, чтобы улучшать маршрутизацию и значения по умолчанию, и показывает, чему научилась. Не «мы используем ваши данные для улучшения продукта» в сноске условий использования, а видимую обратную связь: «мы заметили, что в задачах по коду вы часто переключаетесь с автоматически выбранной модели на определённую; сделать её вашей по умолчанию?».
Петля обучения включает и признание, когда платформа ошиблась. Если модель выдала фактически неверный ответ, который человек поправил, эта поправка стоит больше тысячи пальцев вверх. Относиться к ней так — акт честности перед человеком и перед собственной калибровкой продукта.
Планка
Ни один из этих пяти приёмов не сложен технически. Сложно расставить им приоритет, потому что они порой снижают краткосрочные метрики вовлечённости. Кто видит предупреждения о стоимости, колеблется. Кто видит уведомления о неопределённости, меньше доверяет отдельным ответам. Кто может отменить, меньше привязан.
Ставка честного дизайна в том, что это трение строит долговечное доверие, а долговечное доверие — единственный фундамент, на котором продукт может стоять в столь значимой категории, как ИИ. Платформы, пропускающие планку честности, строят не отношения — они ведут медленное извлечение. Разница видна в оттоке, в объёме обращений в поддержку и в том сорте молвы, который действительно накапливается.
Мы оцениваем каждую поверхность ToRun по этим пяти приёмам, прежде чем выпустить. Мы всё равно промахиваемся. Когда это случается, след аудита достаточно открыт, чтобы нам об этом сказали.