A maioria dos produtos de IA falha numa dimensão que nada tem a ver com a qualidade do modelo. Falha na honestidade — não no sentido da mentira aberta, mas pelas vias mais silenciosas: esconder o que custa uma chamada, afirmar disparates com segurança e sem ressalvas, deixar desaparecer um estado que não se consegue recuperar, e nunca aprender com o atrito que causam. Essas falhas são opções de desenho, mesmo quando parecem descuidos.
A seguir está o quadro de cinco padrões que usamos internamente no ToRun para avaliar cada superfície que construímos. Não afirmamos superá-lo sempre. Afirmamos que são as perguntas certas.
Transparência: mostrar o estado real e o custo real
O padrão desonesto clássico é um vago «foram consumidos alguns créditos». Faturação transparente significa poder olhar para qualquer chamada passada e reconstruir exatamente o que foi cobrado e porquê — fornecedor, modelo, modalidade, unidades consumidas, tarifa no momento da execução, conversão de moeda se aplicável e a margem da plataforma. Se faltar qualquer um desses campos, ou for estimado a posteriori, a fatura é ficção.
Uma falha de transparência mais subtil é esconder a escolha do modelo. Se um produto degrada em silêncio o seu pedido para um modelo mais barato porque atingiu um limite brando, pode receber uma resposta pior sem nunca saber. O honesto é dizer que modelo correu, porque foi escolhido e quais eram as alternativas. A decisão de encaminhamento devia ser inspecionável, não uma caixa negra.
A transparência aplica-se também ao estado. Se houver um trabalho em segundo plano a correr por si, a interface devia dizê-lo e dar-lhe uma forma de o parar. Os indicadores de «a processar» que não se podem cancelar são pequenas mentiras.
Reversibilidade: deixar anular
A irreversibilidade é a falha de interface mais subestimada nos produtos de IA. Pede a um fluxo que envie um correio ou publique num canal, dispara de imediato, e o único remédio é uma mensagem de desculpas escrita à mão. Sem passo intermédio. Sem confirmação quando muito está em jogo. Sem anular.
O padrão de reversibilidade exige que os produtos distingam entre operações de leitura e de escrita, mostrem passos de confirmação para ações com consequências e retenham o estado tempo suficiente para que os erros sejam notados. Para conteúdo gerado por IA, isso significa que os rascunhos existem antes da publicação, que os artefactos gerados são recuperáveis após eliminação e que as sessões de conversa se podem exportar ou ramificar antes de as perder.
A reversibilidade aplica-se também à configuração. Se mudar uma definição tem efeitos a jusante — por exemplo mudar o modelo por omissão de todas as sessões futuras — o produto devia dizer o que vai mudar antes de mudar, não depois.
Cuidado antecipado: avisar antes do dano, não depois
Um produto honesto diz «esta mensagem vai consumir uma parte significativa do seu saldo» antes da chamada, não num recibo posterior. Diz «este passo de fluxo não tem tratamento de erros; se a ferramenta a montante falhar, a execução para em silêncio» enquanto o está a construir, não durante um incidente às duas da manhã.
Cuidado antecipado significa que o produto modela o que poderia correr mal do ponto de vista de quem o usa e o expõe no ponto de decisão. É mais difícil do que parece, porque exige que o produto perceba a intenção e não se limite a executar comandos. Quem pede uma geração em lote de 200 imagens quer provavelmente saber o custo estimado antes, mesmo sem o pedir explicitamente.
O padrão de falha aqui é otimizar para a conversão — suprimir avisos de custo porque causam hesitação. A curto prazo pode aumentar a ativação. A longo prazo ensina as pessoas a não confiarem em si.
Honestidade epistémica: dizer o que não se sabe
Os modelos de IA alucinam. Toda a equipa que constrói produtos de IA sabe disso. A resposta de desenho desonesta é apresentar as saídas do modelo com confiança uniforme e deixar o problema ser descoberto mais tarde. A resposta honesta é construir vias explícitas de sinalização de incerteza.
Isso significa: quando um modelo cita fontes, as citações têm de ser reais e ligáveis. Quando um modelo diz «segundo a minha data de corte de treino», essa ressalva tem de continuar visível na interface e não ser cortada para um texto mais limpo. Quando as respostas com recuperação recaem no conhecimento paramétrico porque não se encontrou nenhuma passagem relevante, a resposta devia dizê-lo em vez de apresentar a resposta paramétrica como fundamentada.
A honestidade epistémica estende-se ao próprio produto. «Esta funcionalidade é experimental» não é um aviso a esconder — é a informação necessária para calibrar a confiança. Se existir uma pontuação de confiança e for baixa, mostre-a. Se o canal de encaminhamento desviou para um modelo secundário porque o principal não estava disponível, diga-o nos metadados da chamada.
Ciclo de aprendizagem: fechar o circuito de retorno
A falha de interface mais insidiosa é um produto que nunca melhora a servi-lo porque nunca observa onde o frustrou. Carregar quatro vezes com raiva num botão que parece desativado mas não está é um sinal. Abandonar regularmente uma geração a meio é um sinal. Escrever a mesma correção depois de cada resposta é um sinal.
Uma plataforma honesta capta esses sinais de forma exposta, usa-os para melhorar o encaminhamento e os valores por omissão, e mostra o que aprendeu. Não «usamos os seus dados para melhorar o produto» numa nota de rodapé dos termos de utilização — mas um retorno visível: «reparámos que em tarefas de código muda muitas vezes do modelo escolhido automaticamente para um específico; quer torná-lo o seu padrão?».
O ciclo de aprendizagem inclui também admitir quando a plataforma errou. Se um modelo produziu uma resposta factualmente errada que foi corrigida, essa correção vale mais do que mil sinais de polegar para cima. Tratá-la assim é um ato de honestidade para com quem usa o sistema e para com a própria calibração do produto.
A fasquia
Nenhum destes cinco padrões é tecnicamente difícil de implementar. Difícil é dar-lhes prioridade, porque por vezes baixam métricas de envolvimento a curto prazo. Quem vê avisos de custo hesita. Quem vê avisos de incerteza confia menos em respostas isoladas. Quem pode anular está menos preso.
A aposta do desenho honesto é que esses atritos constroem confiança duradoura, e que a confiança duradoura é a única fundação sobre a qual um produto se pode aguentar numa categoria tão consequente como a IA. As plataformas que saltam a fasquia de honestidade não estão a construir relações — estão a gerir uma extração lenta. A diferença nota-se no abandono, no volume de apoio e no tipo de recomendação boca a boca que de facto soma.
Avaliamos cada superfície do ToRun face a estes cinco padrões antes de a lançar. Ainda assim falhamos. Quando isso acontece, o rasto de auditoria está suficientemente exposto para que no-lo possam dizer.