Un gruppo di sei ingegneri Apple ha recentemente pubblicato uno studio che evidenzia le limitazioni delle capacità di ragionamento matematico nei modelli linguistici di intelligenza artificiale più avanzati.
Il documento, denominato “GSM-Symbolic”, dimostra che anche lievi variazioni nei problemi matematici tradizionali possono causare un significativo peggioramento delle prestazioni di questi sistemi di IA.
La ricerca si è concentrata sul benchmark GSM8K, un insieme di oltre 8.000 problemi matematici di base, utilizzato per testare le abilità di ragionamento complesso dei modelli linguistici.
Gli ingegneri hanno sviluppato una nuova versione, chiamata GSM-Symbolic, modificando elementi come i nomi e i numeri dei problemi originali, mantenendo però intatta la complessità matematica.
Testando più di 20 modelli linguistici di ultima generazione su GSM-Symbolic, gli ingegneri hanno rilevato una riduzione delle prestazioni con una perdita di accuratezza tra lo 0,3% e il 9,2%, rispetto ai risultati ottenuti con GSM8K. Inoltre, è stata riscontrata una significativa variabilità tra le diverse esecuzioni dello stesso test, con differenze fino al 15% nello stesso modello.
Questi dati suggeriscono che i modelli non stanno effettivamente ragionando in modo formale, ma piuttosto cercano di riprodurre schemi già presenti nei dati di addestramento.
Come affermato dai ricercatori: “I modelli linguistici attuali non sono in grado di eseguire un vero ragionamento logico. Si limitano a replicare i processi di ragionamento visti nei dati di addestramento.”
La situazione si è ulteriormente aggravata quando sono state aggiunte informazioni non pertinenti ai problemi, dando vita al benchmark “GSM-NoOp”. Questo ha provocato una riduzione “drastica” delle prestazioni, con un calo dell’accuratezza compreso tra il 17,5% e il 65,7%.
Questi risultati sottolineano i limiti dei modelli basati sul riconoscimento di schemi per risolvere problemi complessi.
- Telekom non ha ancora lanciato il vero 5G: differenze e futuro
- Apple svela le falle nel ragionamento delle IA: limiti delle tecnologie AI
- Samsung: Galaxy AI dovrebbe sostituire i menu delle impostazioni
- Protezione AI e blocco remoto: Android 15 contro i ladri
- Samsung: l’ultimo aggiornamento raggiunge sempre più dispositivi Galaxy
Come ha spiegato Gary Marcus, esperto di IA: “Il prossimo grande salto nelle capacità dell’IA arriverà quando queste reti neurali saranno in grado di gestire una vera manipolazione simbolica, in cui le conoscenze saranno rappresentate in modo astratto tramite variabili e operazioni su di esse, come vediamo nell’algebra e nella programmazione.”
Lo studio mette in evidenza la debolezza delle attuali capacità di ragionamento delle IA, dimostrando che, nonostante i progressi raggiunti, siamo ancora lontani da una comprensione matematica e logica simile a quella umana.
Questi risultati potrebbero influenzare lo sviluppo futuro di sistemi di IA più resistenti e affidabili per compiti che richiedono un ragionamento avanzato.