Escolher o modelo certo é a parte fácil da IA corporativa

Em artigo publicado em 11 de setembro na InformationWeek, Jeff McMillan — fundador da consultoria McMillanAI, professor adjunto na Columbia Business School e ex-responsável pela área de IA em toda a Morgan Stanley, onde supervisionou o lançamento de plataformas seguras de IA generativa para mais de 80 mil funcionários — argumenta que a escolha do modelo é a decisão mais fácil de um projeto de IA corporativa. Segundo ele, cerca de 90% do trabalho de uma empresa é limitado e repetível; apenas 10% exige julgamento complexo. E ele monta uma conta que raramente aparece nas reuniões de decisão: encadear cinco etapas de IA, cada uma com 95% de confiabilidade, produz um resultado final com cerca de 75% de sucesso. Encadear vinte etapas no mesmo padrão derruba essa taxa para 36%.

A reação mais comum a esse tipo de argumento é debater qual modelo escolher — se a ferramenta de um fornecedor entrega taxa de acerto mais alta que a de outro para aquele caso de uso. É a pergunta que domina proposta comercial, comparativo de benchmark e reunião de comitê de tecnologia: qual modelo tem a melhor confiabilidade isolada.

A conta que a escolha do modelo não resolve

A conta de McMillan mostra que essa pergunta captura a fração errada do problema. Um modelo com 95% de confiabilidade não é, sozinho, o gargalo: o número de etapas que ele precisa atravessar sem errar é o que decide o resultado final. Trocar de fornecedor pode elevar a confiabilidade de cada etapa isolada de 95% para 97%, e esse é um ganho real, mas ele segue sendo multiplicado pelo mesmo número de etapas ao longo do processo inteiro. O que derruba o resultado de 75% para 36% não é a qualidade do modelo escolhido. É um processo desenhado com vinte pontos de decisão em vez de cinco.

A leitura óbvia	O que a conta mostra
O problema é escolher o modelo certo	Cinco etapas a 95% de confiabilidade já caem para 75% de sucesso
Um modelo mais avançado resolve a confiabilidade	Vinte etapas no mesmo padrão caem para 36%, com qualquer modelo
A comparação entre fornecedores decide o projeto	O número de etapas do processo pesa mais que o fornecedor escolhido

A conta não muda porque o modelo ficou melhor. Muda porque o processo ficou mais curto.

McMillan lista os obstáculos que efetivamente afundam esses números: infraestrutura despreparada para rodar modelo em escala, ausência de processo com indicador definido, dado desatualizado sem proprietário e falta de estrutura de avaliação confiável. Nenhum desses quatro itens muda com um upgrade de modelo.

Onde a confiabilidade evapora de verdade

Dado sem dono é o primeiro lugar onde a conta some. McMillan é direto quanto a isso: sem proprietário definido para uma base de dado, não existe padrão de qualidade sobre ela, e sem padrão de qualidade a confiabilidade de 95% anunciada pelo fornecedor não se sustenta em produção. Ela cai antes mesmo de chegar à segunda etapa da cadeia.

Nenhuma comparação entre modelos resolve isso.

Para quem dirige uma empresa, a implicação prática começa pela contagem: quantas etapas o processo de IA em produção realmente encadeia, e quem mapeou essa cadeia antes de o projeto ser aprovado. Um fluxo que encadeia aprovação de crédito, checagem de compliance e resposta ao cliente em várias chamadas de IA sucessivas carrega uma matemática de erro que nenhum comitê discutiu, porque a reunião foi sobre qual fornecedor contratar, não sobre quantos elos a cadeia teria.

O que muda no desenho do processo, não no modelo

A mesma lógica recai sobre quem responde pelos dados que alimentam cada etapa. Nomear um dono para cada base usada no processo é trabalho de gestão, não de engenharia, e costuma ficar fora do slide que aprova o projeto: não aparece em nenhum comparativo de fornecedor, nem tem linha própria no orçamento de tecnologia.

Há ainda o recorte que McMillan chama de fluência de força de trabalho: treinar quem opera o processo para reconhecer quando uma resposta de IA está fora do padrão, especificamente nos 10% de trabalho que exigem julgamento e não seguem o roteiro das etapas repetíveis. Um funcionário que não sabe identificar uma resposta errada da própria ferramenta de trabalho anula qualquer ganho de confiabilidade que o modelo tenha entregado. A lacuna não aparece em nenhum comparativo de benchmark, porque benchmark mede o modelo isolado, e não o processo inteiro em que ele foi encaixado.

Quantas etapas de IA a operação já encadeou sem que alguém tenha feito essa conta — e quem, hoje, seria responsável por refazê-la se o resultado começasse a falhar?