O programa de computador ELIZA, da década de 60, demonstrou superar o ChatGPT 3.5 no teste de Turing, que avalia a capacidade da tecnologia de se passar por um ser humano. Este experimento foi conduzido por pesquisadores da Universidade da Califórnia em San Diego.
ELIZA obteve um desempenho quase duas vezes superior ao ChatGPT 3.5
Originalmente chamado de "jogo de imitação", o teste de Turing foi criado por Alan Turing em 1950 e analisa a capacidade de uma máquina de exibir, ou não, um comportamento inteligente equivalente ou indistinguível do de um ser humano ao responder perguntas.
A proposta de Turing era de que um avaliador humano julgasse as conversas entre um humano e uma máquina projetada para gerar respostas semelhantes às humanas.
Em outras palavras, o teste percebe se a máquina consegue manter uma conversa com um humano sem ser detetada como máquina. E o novo experimento pôs a ELIZA e o ChatGPT à prova.
Como foi feito o teste
Para o experimento, 652 participantes interagiram com a ELIZA, criada por Joseph Weizenbaum do MIT em 1960, e com os chatbots GPT 3.5 (versão gratuita) e GPT-4 (versão mais avançada atualmente) da OpenAI .
Numa reviravolta inesperada, a ELIZA conseguiu "enganar" e passar-se por humano em 27% das interações. O ChatGPT 3.5 conseguiu o feito em apenas 14%. Por outro lado, o GPT-4 mostrou já estar à frente e alcançou uma taxa de sucesso de 41%.
Embora muitas empresas que desenvolvem IA hoje busquem um estilo de conversa cada vez mais espontâneo e natural, alguns académicos e a própria OpenAI defendem o ChatGPT com o argumento de que ele não foi projetado para ter um bom resultado no teste de Turing.
A OpenAI, inclusive, enfatiza sua preocupação em adotar medidas para evitar que seus chatbots tentem se passar por humanos, dados os riscos associados à impersonificação.
Além disso, uma das razões observadas no estudo para os participantes confundirem ELIZA com um ser humano foi que era "muito mau" ser um modelo atual de IA. Portanto, "era mais provável que fosse um ser humano intencionalmente não cooperativo".
A experiência, contudo, deixou os pesquisadores de IA atentos para novos meios de aperfeiçoar as suas tecnologias para oferecer uma interação cada vez mais autêntica.
Editores 4gnews recomendam:
