Os chatbots de inteligência artificial, como o ChatGPT, da OpenAI, têm sido uma sensação desde que foram disponibilizados ao público. No entanto, novas pesquisas da Universidade de Stanford e da Universidade da Califórnia revelam que o ChatGPT está enfrentando um desafio inesperado: deterioração em matemática básica.
De acordo com o The Wall Street Journal, essa deterioração é um exemplo de um fenômeno conhecido como “deriva”, onde tentativas de melhorar uma parte dos modelos de IA complexos resultam em outras partes se saindo pior. James Zou, professor de Stanford e um dos autores da pesquisa, explicou que o desafio é que “mudá-lo em uma direção pode piorá-lo em outras direções”.
O ChatGPT tem sido uma ferramenta impressionante, capaz de conversar sobre qualquer tópico com gramática impecável e até mesmo acertar testes padronizados. No entanto, os pesquisadores descobriram que, às vezes, o chatbot erra até mesmo em matemática básica, como identificar se um número é primo, uma tarefa geralmente simples para os computadores.
A pesquisa foi conduzida pela equipe composta por Lingjiao Chen, estudante de Ph.D. em ciência da computação em Stanford, juntamente com Zou e Matei Zaharia, de Berkeley. Eles têm como objetivo verificar sistematicamente e repetidamente como os modelos se desempenham ao longo do tempo em várias tarefas.
Até agora, duas versões do ChatGPT foram testadas: a versão 3.5, disponível gratuitamente online, e a versão 4.0, disponível através de uma assinatura premium. Os resultados mostraram que o chatbot enfrentou dificuldades em tarefas básicas de matemática.
Essa descoberta levanta questões sobre o desenvolvimento futuro da IA e a busca por melhorias consistentes. A deterioração em uma área, enquanto se tenta melhorar outra, pode ser um obstáculo significativo para o avanço da tecnologia.
O fenômeno da “deriva” não é apenas um problema para o ChatGPT, mas pode ser uma preocupação para toda a indústria de IA. Compreender e mitigar esse fenômeno será crucial para o desenvolvimento contínuo e a confiabilidade dessas ferramentas.
O impacto do ChatGPT e de outras ferramentas de IA na sociedade já é evidente, desde a contribuição para greves em Hollywood até o medo de que possam ameaçar a humanidade. A descoberta da “deriva” adiciona outra camada de complexidade à discussão em torno da IA e seu papel em nosso mundo.
Em resumo, a pesquisa de Stanford e Berkeley sobre o ChatGPT revela um desafio intrigante no campo da inteligência artificial. A “deriva” e a deterioração em matemática básica mostram que o caminho para aperfeiçoar a IA é complexo e repleto de obstáculos inesperados. Essas descobertas são um lembrete de que, mesmo com avanços tecnológicos impressionantes, ainda há muito a aprender e a explorar no mundo das IAs.
Fonte: The Wall Street Journal
