Maior feira de tecnologia bancária da América Latina, a Febraban Tech reservou uma surpresa nesta quinta, 12/6, dia de encerramento do evento anual da TI dos bancos brasileiros. O economista Paul Romer, professor do Boston College – ex-presidente do Banco Mundial e vencedor do Prêmio de Ciências Econômicas em Memória de Alfred Nobel em 2018 – jogou um grande balde de água gelada na onda da inteligência artificial. Para ele, a precisão da IA é baixa demais.

“A inteligência artificial não é confiável”, disparou Romer. “A IA é interessante, faz coisas incríveis, pode ser melhor em escolher possíveis frases, mas ainda é muito fraca. É preciso ter cuidado para não ser enganado por pessoas que estão tentando ganhar dinheiro fazendo você pagar por uma ferramenta que ainda é perigosa e que não deveria ser usada como está sendo, seja para dirigir um carro ou protocolar um documento.”

O “Nobel de Economia” de 2018 – o prêmio, na verdade, é do Banco Central sueco, não da Fundação Nobel – insistiu ao longo de sua palestra na Febraban Tech que o nível de erros das ferramentas não é verdadeiramente aceitável.

“A principal mensagem que quero passar é que grandes modelos de linguagem podem ser úteis, mas também podem falhar. E eles falham previsivelmente. Temos que nos perguntar se o custo da falha é suficientemente pequeno e o benefício suficientemente grande para valer a pena usar o modelo – e aposto que quase nunca fará sentido usar um LLM. Mas há pessoas que vão fazer muito dinheiro vendendo serviços baseados em LLM que não vão te dizer que seria melhor não usar.”

Como reforçou, “se você quer uma resposta correta, não vai querer usar uma ferramenta que está presa entre 50% e 55% de precisão. E esses modelos não estão melhorando para chegar a 100% de confiança. Eles estagnaram, e estamos ficando sem mais dados para continuar alimentando. Então, não tenho certeza se eles algum dia terão o nível básico de precisão que alguém como um advogado precisaria para poder usá-los”.

Romer lembrou que alertas para o problema das alucinações – “se não sabe a resposta, invente uma” – existem há 20 anos. “E isso não ficou muito melhor. Se você pensa que pode ligar um modelo de aprendizado de máquina de IA e conseguir uma resposta certa em uma questão importante, foi enganado sobre algo que simplesmente não é verdade.”

Afinal, disse o economista, “ninguém quer uma resposta que está perto de ser confiável, quer uma resposta confiável, mas esses modelos não conseguem entregar isso. Eles são praticamente inúteis por si mesmos para a maioria dos casos. Uma questão interessante: eles serão usados por alguém bom o suficiente para identificar as alucinações e manter apenas as respostas certas? Talvez esse seja o futuro desses modelos. Mas será um desafio”.

Ao mostrar o caso de um Tesla em piloto automático que atropela e mata uma mulher, ele reforçou que é nisso que temos que pensar quando se comete um erro com IA. “Erros são caros. E não apenas para a reputação. Mas hoje usamos software para mover grandes pedaços de metal, como aviões e carros, e nesse caso erros são muito custosos.”

E como se não bastasse uma hora de sérios questionamentos à efetiva capacidade da inteligência artificial, ao menos no estágio atual, Paul Romer foi categórico em seu recado final: empresas, não comprem ferramentas de IA.

“Não ouça os cientistas da computação. Eles estão interessados em todas as novidades que são capazes de fazer, não em chegar às respostas certas. Não ouça empresas que vendem coisas feitas com essas ferramentas. Você quer suas próprias ferramentas. E a primeira coisa a ser incluída é que sempre que houver um erro, você quer que ele apareça e que as pessoas usando o software entendam que aconteceu um erro. Sempre haverá erros e é muito ruim um sistema de software que faz uma resposta plausível e esconde os erros quando eles surgem.”