Maestro Roberto - Tecnologie e didattica

Se avete sperimentato ChatGPT con problemi matematici, vi sarete accorto che non abbiamo a che fare con un portento!

Ed è in buona compagnia: anche altre IA come Claude di Anthropic, Gemini e il modello Llama di Meta hanno difficoltà con semplici operazioni matematiche. Allora come è possibile che questi modelli possano scrivere narrazioni complesse, ma inciampare in problemi matematici di livello scolastico?

Tokenizzazione: un ostacolo per la matematica

Uno dei problemi che modelli come ChatGPT affrontano con la matematica ha a che fare con la tokenizzazione, Questo è il processo in cui l’intelligenza artificiale divide le informazioni in “pezzi” o “token” più piccoli. Ad esempio, la parola "fantastico" può essere divisa nei simboli "fan", "tas" e "tico". Lo stesso vale per i numeri. Un numero come "380" può essere rappresentato come un singolo token, mentre "381" può essere diviso in due token, "38" e "1". Questo tipo di tokenizzazione tende a distruggere le relazioni tra le cifre e di conseguenza influisce sulla capacità del modello di elaborare accuratamente i calcoli matematici.

L'intelligenza artificiale e i suoi limiti: macchine statistiche
Un altro motivo per cui i modelli di intelligenza artificiale hanno difficoltà con la matematica è perché sono macchine statistiche. Questi modelli non risolvono i problemi come farebbero un essere umano o una calcolatrice; Invece, prevedono sequenze di segni sulla base di modelli appresi da un gran numero di esempi. Se date loro un problema come “5.7897 x 1.2832”, l’intelligenza artificiale proverà a dedurre il modello. Di conseguenza, è possibile che alcune cifre siano corrette, ma è molto probabile che si commettano errori su altre, soprattutto se l'operazione prevede diversi passaggi intermedi. Infatti, uno studio del professor Yuntian Deng ha dimostrato che modelli come GPT-4o raggiungono a malapena una precisione del 30% sui problemi di moltiplicazione che coinvolgono numeri più lunghi di quattro cifre.

Progressi nei modelli AI: è possibile un miglioramento?
Nonostante queste limitazioni, non tutto è perduto per l’intelligenza artificiale e la matematica. Nello stesso studio, il team di Yuntian Deng ha testato un nuovo modello chiamato o1, un modello "pensante" OpenAI che è stato recentemente incorporato in ChatGPT. Questo modello ha la capacità di “pensare” passo dopo passo prima di offrire una risposta e ha mostrato prestazioni significativamente migliori sui problemi di matematica, risolvendo problemi di moltiplicazione fino a nove cifre nel 50% dei casi.

ChatGPT può essere utile come una calcolatrice?
Per Deng c'è speranza. Crede che alcuni tipi di problemi matematici, come la moltiplicazione, alla fine saranno “completamente risolti” da sistemi come ChatGPT. Questi tipi di operazioni hanno algoritmi ben definiti che consentono evidenti miglioramenti e stiamo già assistendo a progressi nelle capacità di ragionamento di questi modelli. Tuttavia, per il momento, sembra prudente continuare ad avere una calcolatrice a portata di mano.

La sfida di insegnare la matematica all’intelligenza artificiale
Il problema della matematica mostra con evidenza gli attuali limiti dell’intelligenza artificiale. Sebbene ChatGPT e modelli simili stiano facendo progressi significativi in ​​molte aree, la matematica rimane una sfida. La natura statistica di questi modelli e i problemi inerenti alla tokenizzazione rendono l’aritmetica più difficile di quanto possa sembrare a prima vista.

Mentre gli esseri umani possono scomporre un problema matematico e risolverlo passo dopo passo, l’intelligenza artificiale, per ora, sta ancora cercando di trovare modelli statistici invece di “ragionare” come faremmo noi. Con modelli come o1 si stanno compiendo sforzi per cambiare la situazione e i risultati finora sono promettenti. 

Traduzione da: https://wwwhatsnew.com/2024/10/07/chatgpt-es-malo-en-mates-pero-hay-un-motivo/#more-472661