Um estudo desenvolvido recentemente pela Universidade de Purdue nos EUA fez uma análise aprofundada ao desempenho do ChatGPT e das suas sugestões de auxílio aos programadores. As conclusões, infelizmente, levantam séries preocupações para quem usa esta ferramenta.
As conclusões deste estudo mostram que a Inteligência Artificial da OpenAI errou em mais de metade das respostas dadas sobre esta temática. Ademais, induziu em erro uma parte significativa dos participantes deste estudo.
52% das respostas do ChatGPT relacionadas com programação foram incorretas
Para o propósito deste estudo, foram submetidas 517 questões relacionadas com a área da programação ao ChatGPT. Questões sugeridas por profissionais da área com o intuito de avaliar a precisão, consistência, abrangência e concisão desta IA generativa.
Os resultados deste teste foram bastante dececionantes ao constatar-se que 52% das respostas obtidas continham imprecisões. Ademais, 77% delas foram desnecessariamente longas.
Algo que preocupa bastante os autores deste estudo foi a capacidade do ChatGPT de induzir em erro os participantes. A linguagem metódica adotada pela ferramenta conseguiu convencer muitos programadores, com exceção dos casos em que as imprecisões eram gritantes e demasiado óbvias.
Estes problemas estão, segundo os autores deste estudo, relacionados com a incapacidade do ChatGPT em compreender o contexto de algumas questões. Problemática que deverá ser alvo de melhorias com a próxima versões desta Inteligência Artificial generativa.
Em síntese, este estudo norte-americano coloca em causa a capacidade do ChatGPT, e outras ferramentas similares, no auxílio ao desenvolvimento de código. A sua capacidade de induzir em erro o programador pode originar vários problemas no saudável desenvolvimento de programas informáticos.
Este alerta deve ser dado, pois o ChatGPT é visto por muitos como um importante auxiliar à programação. São já muitos os que trabalham nesta área que recorrem à IA para tentar desbloquear problemas encontrados no desenvolvimento dos seus programas.
A próxima geração deste chatbot, o GPT-5, estão prometidas novidades que poderão ajudar a colmatar estas preocupações. Ao que tudo indica, a próxima versão do ChatGPT suportará o envio de ficheiros, imagens, vídeo ou áudio que possa ajudar a melhor contextualizar as questões colocadas pelo utilizador.
Editores 4gnews recomendam:
