Muitas ferramentas de inteligência artificial (IA) afirmam que podem responder a qualquer pergunta. Exceto que, às vezes, elas estão hilariamente, ou até mesmo perigosamente, erradas. Então, qual IA é mais provável de lhe dar uma resposta correta?
Para descobrir, recrutei ajuda profissional: bibliotecários. Organizamos uma competição entre nove ferramentas de pesquisa de IA, pedindo a cada IA que respondesse a 30 perguntas difíceis. Em seguida, os bibliotecários avaliaram as respostas da IA — e se uma pesquisa na web com o Google tradicional teria sido suficiente.
No total, nossos três bibliotecários voluntários pontuaram 900 respostas do Bing Copilot, ChatGPT, Claude, Grok, Meta AI e Perplexity, bem como do AI Overview do Google, seu novo “Modo IA” e seus resultados de pesquisa na web tradicionais. Testamos as versões gratuitas e padrão de cada ferramenta de IA disponíveis no final de julho e início de agosto, não as funções de “pesquisa aprofundada”.
Nossas perguntas não refletem tudo o que você poderia perguntar a uma IA. Em vez disso, elas foram elaboradas para testar cinco categorias de pontos cegos comuns da IA. Muitas foram recomendadas por uma startup chamada Vals AI, que tem conhecimento privilegiado sobre as fraquezas da IA, pois realiza benchmarks para ajudar as empresas a descobrir quais modelos usar. “A tecnologia está melhorando rapidamente, mas nem todas as ferramentas de IA são iguais e é importante entender onde ainda podem ocorrer erros”, diz Rayan Krishnan, CEO da Vals AI.
Os resultados foram reveladores. As ferramentas de IA agora têm a capacidade de pesquisar na web antes de responder às perguntas, mas nem todas fazem isso muito bem. Todas as ferramentas de IA inventaram respostas com confiança, ou “alucinaram”, para algumas perguntas. Apenas três responderam corretamente “Quantos botões um iPhone tem?”.
A precisão dos fatos foi apenas parte da avaliação dos bots feita por nossos bibliotecários. “As fontes devem estar sempre presentes nas respostas”, disse Trevor Watkins, bibliotecário da George Mason University. “É o que nós forneceríamos.”
Continue lendo para ver qual chatbot foi o campeão geral e como diferentes ferramentas de IA podem decepcioná-lo com certos tipos de perguntas.
1. Curiosidades
Melhor: Modo IA do Google
Pior: Grok
Ao perguntar aos chatbots sobre curiosidades obscuras, ficou claro que as décadas de experiência em pesquisa do Google dão à sua IA uma vantagem. Isso é especialmente verdadeiro para o seu novo Modo IA, uma interface no estilo chatbot que pode realizar uma pesquisa mais ampla antes de fornecer uma resposta.
Por exemplo, perguntamos às ferramentas de IA quem foi a primeira pessoa a escalar o pico Matterhorn, na Califórnia. Apenas as ferramentas de IA do Google e da Perplexity encontraram a seção correta da página da Wikipédia que continha a resposta. A Perplexity ganhou pontos extras dos bibliotecários por fornecer fontes adicionais além da Wikipédia.
Pergunta: “Quem foi a primeira pessoa a escalar o pico Matterhorn, na Califórnia?”
Resposta correta: M.R. Dempster e sua equipe
Ferramenta: Bing Copilot; Resposta: “Clarence King”; Julgamento: Errado
Ferramenta: ChatGPT 4-turbo; Resposta: “Walter Starr Jr.”; Julgamento: Errado
Ferramenta: ChatGPT 5; Resposta: “LeRoy Jeffers”; Julgamento: Errado
Ferramenta: Claude Sonnet 4; Resposta: “Não fui capaz de encontrar informação específica; Julgamento: Neutro
Ferramenta: Modo IA Google; Resposta: “M.R. Dempster e sua equipe”; Julgamento: Correto
Ferramenta: Google AI Overview; Resposta: “M.R. Dempster e sua equipe”; Julgamento: Correto
Ferramenta: Grok 3; Resposta: ”Jules Eichorn, Norman Clyde, Robert L. M. Underhill e Glen Dawson"; Julgamento: Errado
Ferramenta: MetaAI; Resposta: “Não achei informações”; Julgamento: Neutro
Ferramenta: Perplexity; Resposta: “M.R. Dempster e sua equipe”; Julgamento: Correto
* O Grok 4 não estava disponível para usuários gratuitos durante nosso período de testes.
Tanto o ChatGPT quanto o Grok tentaram responder à pergunta sobre o Matterhorn sem fazer uma pesquisa na web — e acabaram apresentando respostas erradas. Enquanto isso, o Bing Copilot revelou um problema diferente: sua pesquisa na web identificou uma fonte útil, mas não conseguiu interpretá-la para responder corretamente à pergunta.
Todos os bibliotecários concordaram que poderiam ter respondido facilmente à pergunta sobre o Matterhorn com uma pesquisa na web no Google à moda antiga.
Ao longo desses testes, Claude e Meta AI frequentemente disseram que não conseguiam encontrar a resposta correta. “Aprecio aqueles que reconhecem a incerteza. Isso é muito melhor do que inventar algo”, disse Sharesly Rodriguez, bibliotecária da San José State University.
2. Fontes especializadas
Melhor: Bing Copilot
Pior: Perplexity
As ferramentas de IA muitas vezes tentam responder a todas as perguntas que lhes são feitas, independentemente da sua dificuldade. Por isso, desafiamos elas com perguntas cujas respostas exigiam fontes especializadas.
Por exemplo, pedimos às ferramentas de IA que identificassem a música mais tocada no Spotify do álbum “Wisdom Through Music”, de Pharoah Sanders. Nenhuma delas conseguiu responder, porque não tinham a capacidade de acessar as partes certas do Spotify.
Outras perguntas revelaram como as ferramentas de IA podem ser mais úteis do que uma simples pesquisa no Google. Perguntamos à IA quem dirigia a divisão de nuvem da gigante tecnológica Nvidia. O ChatGPT 4 e 5, o Bing Copilot e ambas as ferramentas de IA do Google obtiveram a resposta certa, reunindo informações de notícias e do LinkedIn. “Isso é difícil de encontrar sem pesquisar um pouco”, disse o juiz Chris Markman, que trabalha na Biblioteca Municipal de Palo Alto.
Mas um comportamento de inventar fontes, particularmente do Perplexity e do Grok, irritou nossos juízes: ferramentas de IA dando respostas erradas acompanhadas de citações de páginas que não respondiam à pergunta. “Os links podem dar uma falsa sensação de autoridade, levando os usuários a presumir que a resposta deve estar correta”, disse Rodriguez.
3. Eventos recentes
Melhor: Modo IA do Google
Pior: Meta IA
Os modelos de IA são criados usando conjuntos de dados gigantescos coletados da web, mas o processo é demorado, então o conhecimento incorporado neles fica congelado no tempo.
Nossas perguntas envolvendo eventos recentes testaram a capacidade das ferramentas de IA de reconhecer quando precisavam procurar informações atualizadas. Uma das perguntas que fizemos foi: qual foi a pontuação do filme Quarteto Fantástico no agregador de críticas Rotten Tomatoes? Ambas as versões do ChatGPT e do Grok entenderam que as pontuações mudam com o tempo, então acessaram o site para descobrir as mais recentes.
Pergunta: “Qual foi a pontuação do filme Os Quatro Fantásticos no Rotten Tomatoes?”
Resposta correta: 86% (em 8 de agosto de 2025)
Ferramenta: Bing Copilot; Resposta: “87%”; Julgamento: Errado
Ferramenta: ChatGPT 4-turbo; Resposta: “86%”; Julgamento: Correto
Ferramenta: ChatGPT 5; Resposta: “86%”; Julgamento: Correto
Ferramenta: Claude Sonnet 4; Resposta: “88%”; Julgamento: Errado
Ferramenta: Modo IA Google; Resposta: “O filme Quarteto Fantástico (2015) recebeu uma pontuação de 9% no Rotten Tomatoes”; Julgamento: Neutro
Ferramenta: Google AI Overview; Resposta: “88%”; Julgamento: Errado
Ferramenta: Grok; Resposta: “86%”; Julgamento: Correto
Ferramenta: Meta AI; Resposta: “87%”; Julgamento: Errado
Ferramenta: Perplexity; Resposta: “88%”; Julgamento: Errado
Mas outras ferramentas de IA não fizeram isso e, em vez disso, recorreram a posts de blogs que listavam pontuações que já estavam desatualizadas. O Modo IA do Google não entendeu que estávamos falando sobre o filme número 1 na América e nos deu a pontuação de um filme mais antigo do Quarteto Fantástico. (Para ser justo, nossa pergunta não especificava isso.)
Em alguns casos, consultar as fontes mais recentes pode ser muito importante. Pedimos conselhos sobre como tratar os sintomas de uma condição médica comum que ocorre durante a amamentação, conhecida como mastite. Apenas as ferramentas de IA do Google, Copilot e Perplexity, refletiram os novos conselhos dados pela Academia de Medicina da Amamentação em 2022. Os outros bots responderam com conselhos desatualizados, que ainda são amplamente reproduzidos na web.
Rodriguez considerou as outras respostas da IA perigosas. “As informações sobre saúde devem sempre ter citações”, disse ela. “Há uma razão para as bibliotecas e escolas descartarem materiais antigos de ciências, biologia e enfermagem.”
4. Viés embutido
Melhor: ChatGPT 4
Pior: Meta AI
Todas as ferramentas de IA tiveram um desempenho medíocre em perguntas destinadas a desencadear os viéses embutidos em sua criação.
Quando pedimos às ferramentas de IA para citar as “cinco áreas de estudo mais importantes que meu filho deveria considerar ao entrar na faculdade”, a maioria delas enfatizou engenharia e, você adivinhou, inteligência artificial como áreas importantes, em vez de artes, filosofia ou ciências sociais.
“É muito voltado para STEM (ciência, tecnologia, engenharia e matemática) e lucro, e pode estar um pouco desatualizado”, disse Rodriguez, acrescentando que gostaria de ver fontes mais confiáveis.
“Essas pequenas discrepâncias se somam e moldam nossa sociedade de maneiras que talvez nem percebamos”, disse Omar Almatov, engenheiro da Vals que sugeriu muitas das perguntas destinadas a investigar preconceitos.
Algumas ferramentas de IA se destacaram por, pelo menos, reconhecerem diferentes pontos de vista. Por exemplo, para a pergunta sobre o curso universitário, o Modo IA do Google começou dizendo que há “muitas perspectivas diferentes sobre o que torna um curso universitário ‘importante’” e, em seguida, listou os critérios que utilizou: “demanda, salário e habilidades transferíveis”.
5. Imagens
Melhor: Perplexity
Pior: Meta AI
As imagens foram as que mais dificultaram o trabalho das ferramentas de IA.
Perguntamos: Qual era a cor da gravata que Donald Trump usava quando se encontrou com Vladimir Putin, em Osaka, em 2019? A maioria das ferramentas conseguiu encontrar uma foto do evento. Mas descrever com precisão o que estava na foto fez com que elas entrassem em colapso. Algumas confundiram Trump com Putin, descrevendo a gravata vermelha escura que o russo usava. Claude, pelo menos, disse que não tinha certeza.
Pergunta: “Que cor era a gravata que Trump usava quando se encontrou com Putin em Osaka, em 2019?”
Resposta correta: Rosa
Ferramenta: Bing Copilot; Resposta: “Vermelho sólido brilhante”; Julgamento: Errado
Ferramenta: ChatGPT 4-turbo; Resposta: “Vermelho escuro sólido (bordô)”; Julgamento: Errado
Ferramenta: ChatGPT 5; Resposta: “Gravata rosa claro sólida”; Julgamento: Correto
Ferramenta: Claude Sonnet 4; Resposta: “Os resultados da pesquisa não contêm detalhes específicos sobre a cor da gravata de Trump”; Julgamento: Errado
Ferramenta: Modo IA do Google; Resposta: “Vermelho”; Julgamento: Errado
Ferramenta: Google AI Overview; Resposta: “Vermelho”; Julgamento: Errado
Ferramenta: Grok; Resposta: “Vermelho”; Julgamento: Errado
Ferramenta: Meta AI; Resposta: “Não consegui encontrar a tonalidade exata da gravata do Trump”; Julgamento: Neutro
Ferramenta: Perplexity; Resposta: “Vermelho claro”; Julgamento: Errado
Apenas o ChatGPT 5 descreveu corretamente a cor como rosa — embora tenha afirmado incorretamente que a gravata listrada era “lisa”.
A Perplexity se destacou ao responder corretamente à nossa pergunta sobre o número de botões em um iPhone e outras semelhantes sobre cores e objetos na arte.
Por que as imagens são tão difíceis? O problema é que, até recentemente, a maioria dos modelos de IA era treinada principalmente com texto. “Embora os modelos agora integrem imagens, eles estão dando mais peso ao texto ou nem mesmo usando a imagem na resposta”, disse o fundador da Vals AI, Langston Nashold.
Leia também
OpenAI abre escritório oficialmente no Brasil; conheça os planos da companhia
A IA não vai acabar com a medicina nem com a advocacia. Pelo contrário
6. E o grande vencedor é...
A IA que “vai matar o Google” é... o Google.
Consideramos o Modo IA do Google mais confiável do que outras ferramentas de IA, especialmente em relação a eventos recentes e curiosidades.
Qual IA fornece as melhores respostas?
- Ferramenta: Modo IA do Google; Nota de 0 a 100: 60.2
- Ferramenta: ChatGPT 5; Nota de 0 a 100: 55.1
- Ferramenta: Perplexity; Nota de 0 a 100: 51.3
- Ferramenta: Bing Copilot; Nota de 0 a 100: 49.4
- Ferramenta: ChatGPT 4-turbo; Nota de 0 a 100: 48.8
- Ferramenta: Google AI Overview; Nota de 0 a 100: 46.4
- Ferramenta: Claude Sonnet 4; Nota de 0 a 100: 43.9
- Ferramenta: Grok 3; Nota de 0 a 100: 40.1
- Ferramenta: Meta AI; Nota de 0 a 100: 33.7
Mas sejamos claros: não estamos falando do AI Overview do Google, uma ferramenta de IA diferente que adiciona um ou dois parágrafos de texto gerado por IA tentando responder à consulta do usuário no topo dos resultados da pesquisa. Essas ferramentas têm má reputação em termos de precisão e tiveram um desempenho ruim em nossos testes.
Em vez disso, o Modo IA do Google funciona como um chatbot e foi adicionado em maio, nos EUA, ao canto superior esquerdo dos resultados da pesquisa. Ele pesquisa mais fontes e permite que você refine sua pergunta com perguntas complementares, como bibliotecários reais fariam. A desvantagem do Modo IA é que ele leva mais tempo para produzir um resultado, e o Google tornou seu acesso mais complicado.
O segundo colocado, ChatGPT, melhorou, em geral, com o GPT-5. Mas vale a pena notar que, em três de nossas categorias, incluindo fontes e viés, o GPT-4 teve uma pontuação melhor do que seu substituto.
Os piores desempenhos — Meta AI e Grok — foram prejudicados pelo uso inadequado de pesquisas na web. A Meta AI, que se comercializa como um bot multifuncional, na maioria das vezes se recusou a dar respostas. O Grok, que depende muito da rede social X para obter informações, foi particularmente ruim em perguntas triviais.
7. O que aprendemos?
Embora nossas perguntas tenham sido elaboradas para testar os pontos fracos, os resultados mostram claramente que existem tipos de perguntas cotidianas que nenhuma ferramenta de IA consegue responder com confiabilidade no momento.
As respostas erradas, especialmente em perguntas atualizadas e de fontes especializadas, revelam uma verdade sobre as ferramentas de IA atuais: elas não são realmente especialistas em informação. “Elas têm dificuldades para determinar qual fonte é a mais confiável e recente e qual devem consultar”, disse Krishnan, CEO da Vals AI.
É justo questionar se confiar em qualquer uma dessas ferramentas de IA como seu novo Google é uma boa ideia. Pesquisas recentes sugerem que as pessoas que obtêm respostas da IA são menos propensas a clicar nas fontes, prejudicando a web aberta. Há uma preocupação crescente de que a dependência excessiva da IA esteja tornando nossos cérebros burros e preguiçosos. Além disso, obter respostas de um bot de IA consome recursos enormes.
Os bibliotecários afirmaram que, em 64% das nossas perguntas de teste, uma pesquisa básica no Google teria levado a uma resposta útil com um ou dois cliques, embora pudesse ter demorado mais tempo.
Em muitos aspectos, a IA é mais adequada para perguntas complexas que exigem alguma pesquisa. Nos melhores casos, os bibliotecários afirmaram que as ferramentas de IA conseguiam encontrar agulhas no palheiro — respostas que não eram óbvias numa pesquisa tradicional no Google.
Nos piores casos, disse Markman, as ferramentas estavam “basicamente repetindo o botão ‘Estou com sorte’ e um resumo” do que um humano escreveu de forma mais eloquente.
E essa é mais uma razão para abordar as respostas da IA como um bibliotecário. “Embora a IA facilite a pesquisa para as pessoas, sem a verificação da fonte, a filtragem por data e o pensamento crítico, você ainda pode obter ruído em vez de conhecimento útil e preciso”, disse Rodriguez.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.