Valutazioni migliori con ChatGPT. Il pensiero critico amplia le idee
ChatGPT può aiutare gli studenti a migliorare la qualità e la coerenza del proprio lavoro, facendoli apparire più esperti. Rafforza inoltre la logica appresa attraverso una formazione al ragionamento causale; quando si tratta di produrre idee più diverse, però, è quest'ultimo a rimanere il fattore determinante. ChatGPT non penalizza la varietà delle idee, ma neppure la accresce. È questa la distinzione, tutt'altro che secondaria, che emerge da un esperimento condotto su oltre mille studenti: chi usa l'IA ottiene valutazioni più alte, mentre chi viene formato al ragionamento causale produce idee più diverse da quelle dei propri compagni.
I risultati arrivano da Training novices to think, or giving them LLMs? Evidence from an RCT, uno studio di Hemanth Asirvatham, Chiara Betti, Rachel Brown, Arnaldo Camuffo, Aaron Chatterji, Chiara Fumagalli, Alfonso Gambardella, Myriam Mariani, Abhinev Pandey, Steve Ramos, Giovanni Salvucci e Vladimir Simic. Lo studio nasce da una collaborazione tra Bocconi e OpenAI e coinvolge ricercatori affiliati anche a Duke, Berkeley, SDA Bocconi e ION Management Science Lab.
Mille studenti, quattro gruppi
“Abbiamo condotto uno studio randomizzato controllato su 1.053 studenti del primo anno dei corsi di economia, finanza e management”, spiega Alfonso Gambardella, professore della Bocconi e co-direttore dello ION Management Science Lab.
Gli studenti sono stati suddivisi in quattro gruppi: alcuni hanno ricevuto una formazione sul ragionamento causale, altri hanno potuto utilizzare ChatGPT Edu con GPT-4o, altri ancora hanno avuto accesso a entrambi, mentre il gruppo rimanente non ha usufruito né della formazione né dell'IA. A tutti è stato chiesto di proporre soluzioni per aumentare la conoscenza e l'utilizzo dei prodotti di merchandising a marchio Bocconi tra gli alumni: una prova standard nel marketing dei nuovi prodotti e, quindi, un compito particolarmente adatto a un LLM, un modello linguistico di grandi dimensioni.
Le risposte sono state valutate su una scala da 1 a 5: i punteggi più alti corrispondevano a una maggiore capacità di accrescere conoscenza e utilizzo secondo le metriche previste. Ed è qui che ChatGPT ha fatto una netta differenza: l'accesso al modello ha aumentato i punteggi di circa 0,86 punti rispetto al valore stimato di 2,09 per il gruppo di controllo, rendendo al tempo stesso le proposte degli studenti più simili a quelle formulate dagli esperti.
Non è solo una questione di presentazione. Una scrittura più coerente e un maggior numero di idee spiegano una parte del vantaggio, ma non tutto: una quota sostanziale dell'effetto rimane anche dopo aver tenuto conto di queste caratteristiche. In altre parole, l'IA migliora anche la sostanza delle soluzioni.
L'originalità non garantisce una valutazione migliore
Il quadro cambia quando l'attenzione si sposta sulla varietà delle idee. La formazione al ragionamento causale induce gli studenti a esplicitare con maggiore chiarezza cause, effetti e meccanismi sottostanti e, soprattutto, a produrre soluzioni più diverse da quelle degli altri partecipanti. ChatGPT, invece, aumenta principalmente il numero delle idee, non la loro originalità.
Il paradosso è che queste risposte più originali non ricevono valutazioni migliori. Quando si utilizzano metriche predefinite, si tende a premiare le risposte che vi corrispondono; ciò significa, però, penalizzare le soluzioni che escono dallo spazio convenzionale. Il problema, dunque, non è che il ragionamento causale non funzioni: è che il sistema di valutazione è calibrato su risposte predefinite e non premia quelle differenti.
È forse questa l'implicazione più provocatoria del paper. Se un LLM diventa molto efficace nel produrre la risposta attesa, continuare a valutare studenti o lavoratori soprattutto in base alla loro capacità di fornire quella risposta rischia di scoraggiare soluzioni che, in alcuni casi, potrebbero essere innovative. La soluzione è fare entrambe le cose o, per dirla in modo semplice: in un mondo di modelli linguistici dobbiamo insegnare ancora di più i principi fondamentali, perché formazione e IA si integrano in modi preziosi.
Una questione anche per manager e decisori pubblici
Le implicazioni riguardano direttamente le imprese. Se selezione, promozioni, presentazioni e approvazione dei progetti si basano su criteri codificati, l'IA può ridurre rapidamente il divario tra profili junior ed esperti. Ma se un'organizzazione cerca pensiero indipendente e soluzioni non convenzionali, ha bisogno di sistemi di valutazione che li premino davvero.
Lo stesso vale per le università e per i decisori pubblici. Lo studio non suggerisce di scegliere tra insegnare alle persone a pensare e consentire loro di usare ChatGPT. Al contrario: gli studenti formati al ragionamento causale continuano ad applicarlo anche quando hanno accesso all'IA, mentre l'abbinamento tra questa formazione e GPT rafforza alcuni aspetti della logica causale.
“Questo studio offre un'anticipazione incoraggiante di ciò che può accadere quando l'IA e la formazione al pensiero critico lavorano insieme. L'opportunità che abbiamo davanti è affiancare le nuove tecnologie a un insegnamento attento, per aiutare gli studenti a pensare più in profondità, esplorare un ventaglio più ampio di possibilità e prepararsi meglio al futuro. Mi auguro che nuove ricerche approfondiscano come gli educatori possano tradurre questa promessa nella pratica e ringrazio l'Università Bocconi per la collaborazione in questo importante Lavoro”, ha dichiarato Leah Belsky, Vice President of Education di OpenAI.
“Per comprendere l'impatto dell'IA servono dati ed esperimenti sistematici”, sottolinea Gambardella. “Il nostro studio è soltanto una tessera di un mosaico che dovrà essere completato con molti altri lavori come questo”.
Un mosaico nel quale la domanda non è più soltanto che cosa l'IA possa fare al nostro posto, ma quali capacità umane vogliamo continuare a sviluppare e, soprattutto, se siamo davvero in grado di riconoscerle quando le incontriamo.
