Getty Images
Um estudo recente de uma equipe de engenheiros e pesquisadores associados à Apple, divulgado horas antes da abertura da WWDC, questiona a eficácia dos modelos de linguagem que sustentam ferramentas como ChatGPT e Gemini. Intitulado “A Ilusão do Raciocínio”, o trabalho investiga se os LLMs (Large Language Models – Grandes Modelos de Linguagem) realmente conseguem entender o que estão realizando ou se apenas replicam padrões. Embora sejam capazes de resolver problemas em matemática e programação, a questão central do estudo é sua verdadeira capacidade de raciocínio.
Para abordar essa questão, os pesquisadores implementaram uma abordagem de teste inovadora, avaliando as IAs com quebra-cabeças de variados níveis de complexidade. Em vez de métodos tradicionais, essa metodologia permitiu uma análise detalhada não apenas das respostas finais, mas também do processo de raciocínio que cada modelo utilizou para chegar a elas.
Os resultados sugerem que o desenvolvimento de uma superinteligência artificial ainda não é viável. Durante a pesquisa, foram observados vários fenômenos inesperados:
– “Pane” na IA: Quando confrontadas com quebra-cabeças extremamente desafiadores, as IAs travavam e cometiam erros sérios, demonstrando uma incapacidade de encontrar soluções adequadas.
– Cansaço inesperado: Após um certo número de tentativas, as IAs desistiam de prosseguir com o processamento, apesar de ainda possuírem capacidade computacional disponível para buscar respostas.
Adicionalmente, a pesquisa comparou o desempenho de IAs “pensantes”, que imitam processos cognitivos, com modelos mais simples. Os resultados revelaram padrões distintos:
– Ações fáceis: Os modelos simples superaram as IAs pensantes ao realizar tarefas básicas com maior eficiência.
– Ações médias: Em tarefas de complexidade média, as IAs pensantes demonstraram vantagem, uma vez que o raciocínio adicional colaborou na busca por soluções.
– Ações difíceis: Em tarefas mais difíceis, nenhum dos modelos apresentou um desempenho satisfatório, falhando ambos em encontrar respostas corretas.
Além disso, as IAs pensantes mostraram dificuldades em cálculos exatos, revelando inconsistências em seu raciocínio, sem a adoção de uma lógica clara e uniforme. O estudo conclui que, embora as IAs “pensantes” sejam efetivas para problemas de média complexidade, suas limitações são significativas, pois não pensam como humanos e não mantêm lógica e consistência em todas as situações.
Essas descobertas levantam questões cruciais sobre o real potencial das IAs avançadas, questionando a premissa de que esses modelos estejam preparados para substituir o raciocínio humano em contextos altamente complexos.
