Prestazioni costanti in dubbio ChatGpt meno intelligente di prima, crolla in matematica

ChatGpt sta peggiorando nelle prestazioni, in particolare crollano le capacità matematiche. È la tesi di uno studio della Stanford University e dell'Università della California, Berkeley, che vuole mostrare i cambiamenti del software di Intelligenza Artificiale.

La ricerca si chiama «Come cambia il comportamento di ChatGpt nel tempo?» è pubblicata su arXiv (quindi in attesa di revisione da parte della comunità scientifica) ed è stato condotto da Lingjiao Chen, Matei Zaharia e James Zou.

I tre ricercatori hanno messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni (Llm) di OpenAI, in particolare Gpt-3.5 e Gpt-4. Hanno testato le versioni di marzo e giugno 2023 su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo. In particolare, la capacità di Gpt-4 di identificare i numeri primi è precipitata drasticamente – secondo lo studio – da una precisione del 97,6% di marzo a solo il 2,4% di giugno. Gpt-3.5, invece, ha mostrato prestazioni migliorate.

Questa ricerca – spiega la testata specializzata ArsTechnica – arriva in scia delle lamentele di alcuni utenti sulle prestazioni del chatbot. Tra le teorie del calo, il tentativo di risparmie energie computazionali per accelerare le risposte del software, ma anche una mossa dell'azienda per far pagare agli utenti capacità aggiuntive. «Non abbiamo reso Gpt-4 più stupido, quando si usa in maniera più intensiva si iniziano a notare problemi che non si vedevano prima», ha scritto in un tweet Peter Welinde, vice presidente prodotto di OpenAi.

Arvind Narayanan, professore di informatica all'Università di Princeton, ritiene che i risultati dello studio non dimostrino in modo definitivo un calo delle prestazioni di Gpt-4 e che siano potenzialmente coerenti con gli aggiustamenti apportati da OpenAI.