Il modello LLM più recente di OpenAI, GPT-5, viene ancora presentato e propinato come un genio. Eppure forse proprio come succede ai geni, basta una domanda semplice per farlo impazzire.
Ogni volta che si parla di intelligenza artificiale, da una parte ci sono quelli che stanno producendo e aggiornando gli LLM e che quindi hanno un po’ tutto l’interesse a convincerci che si tratta di assistenti di cui tra poco non potremo più fare a meno e che, anzi, in alcuni casi, sono talmente tanto intelligenti che ci supereranno a breve.
Poi però, come succede invece sempre con la tecnologia, nel momento in cui un LLM come per esempio GPT-5 incontra un essere umano vero e proprio, succede che non c’è più logica che tenga.
O meglio, le pastoie in cui l’addestramento, e quindi i passaggi logici di 0 e 1 su cui si fonda quello che sembra un vero ragionamento, è per forza incasellato mostrano tutti i loro enormi limiti. La dimostrazione viene da una domanda semplicissima. Una domanda che in realtà non dovrebbe neanche avere una risposta troppo lunga o articolata.
Come far impazzire GPT-5? Chiedetegli di giocare
Quando è stato presentato il modello GPT-5, da parte di OpenAI c’è stata la solita dichiarazione un po’ roboante. L’ultimo modello di LLM sarebbe dovuto infatti essere intelligente come un esperto, un esperto con una laurea. È chiaro che da parte della società che produce questa intelligenza artificiale c’è tutto l’interesse a convincerci che abbiamo di fronte qualcosa di straordinario e rivoluzionario. Ma poi è bastato che qualcuno facesse allo stesso grande genio nella lampada una domanda molto semplice per creare risultati che sono a metà strada tra esilaranti e dirompenti.
A mandare fuori giri gli zero e gli uno di GPT-5 è Gary Smith che ha raccontato come provare semplicemente a chiedere all’intelligenza artificiale di giocare una partita a tris ruotato abbia aperto una discussione a senso unico da parte dell’intelligenza artificiale sulla percezione potenziale dei giocatori per il fatto che la griglia viene ruotata di 90 gradi a destra prima di cominciare a giocare. A proposito di giochi, questo è un po’ più carino (e pauroso) di Tris.
Nel momento in cui Smith per esempio ha chiesto a GPT-5 se ruotare lo schema prima di giocare avrebbe reso la partita più complicata per gli esseri umani, è partita una tirata di frasi totalmente coerenti, almeno all’apparenza. Perché leggere che lo schema di tris ruotato potrebbe essere un carico ulteriore a livello cognitivo per un essere umano medio di certo fa sorridere. Lo schema del tris, ruotato in qualunque verso di un angolo retto, rimane perfettamente identico.
E l’esperimento di Smith si è poi concluso magistralmente con la richiesta a GPT-5 di disegnare gli schemi ruotati, in un certo senso umiliando ulteriormente il genio di OpenAI che, mostrando un altro dei limiti di queste slot machine, non è stato capace neanche di scrivere correttamente i nomi con la posizione delle caselle.
E facciamo nostra la conclusione che chiude il suo racconto su Mind Matters: in nessun senso reale le intelligenze artificiali sono realmente intelligenti. Se si conosce una risposta non c’è bisogno di utilizzare un LLM per la domanda e se non si conosce la risposta non ci si dovrebbe fidare di nessuno di questi strumenti.