Capire non basta
L'intelligenza artificiale (IA) è sempre più utilizzata per supportare decisioni in ambiti quali la finanza, le assunzioni e la gestione del rischio. Sebbene questi sistemi possano essere molto accurati, spesso operano come "scatole nere", rendendo difficile comprendere come vengono prese le decisioni. Ancora più importante, di solito non riescono a rispondere a una domanda pratica: come si può cambiare una decisione?
Il mio paper “How do I explain that decision? A new approach combining counterfactuals and sensitivity analyses” introduce un nuovo approccio all'IA spiegabile che va oltre l'interpretazione e supporta un processo decisionale concreto. Combina due strumenti consolidati – l'analisi controfattuale e i valori di Shapley – per spiegare non solo perché si è verificato un determinato risultato, ma anche come potrebbe essere migliorato.
Il limite dei metodi tradizionali
La maggior parte dei metodi di spiegazione esistenti identifica quali fattori hanno influenzato una decisione, ma non fornisce indicazioni chiare su come ottenere un risultato migliore. Ad esempio, a un richiedente cui viene negato un prestito può essere comunicato che il reddito o i risparmi hanno inciso sulla decisione, senza però indicare quale cambiamento sarebbe più efficace per ribaltare l'esito.
Il ruolo dell'analisi controfattuale e dei valori di Shapley
L'approccio proposto supera questo limite concentrandosi sulle transizioni tra risultati. Partendo dalla situazione attuale di un individuo, individua un'alternativa vicina (un "controfattuale") in cui il risultato migliora – ad esempio passando da non idoneo al credito a idoneo – e quantifica il contributo di ciascun cambiamento a questo miglioramento.
Per attribuire l'importanza ai diversi fattori, il metodo si basa sui valori di Shapley, un concetto derivato dalla teoria dei giochi. Tuttavia, le implementazioni standard possono risultare fuorvianti in questo contesto, poiché sono progettate per spiegare singole previsioni e non i cambiamenti tra risultati. L'articolo risolve questo problema ridefinendo i valori di Shapley affinché spieghino direttamente la differenza tra due situazioni.
Spiegazioni realistiche e applicabili
Una seconda innovazione affronta un limite pratico di molte spiegazioni dell'IA: possono basarsi su combinazioni di caratteristiche irrealistiche o impossibili. Il metodo proposto introduce i "valori di Shapley fattibili", che escludono questi casi e limitano l'analisi a scenari realistici.
Benefici per persone e organizzazioni
La metodologia offre vantaggi a più livelli. Per i singoli individui individua quali cambiamenti sono più efficaci, la loro direzione e la loro importanza relativa. Per le organizzazioni, l'applicazione dell'analisi a numerosi casi consente di individuare schemi sistematici, migliorare la gestione del rischio e far emergere eventuali bias o discriminazioni presenti nei dati o nei modelli.
Nel complesso, questo lavoro ridefinisce il concetto di spiegabilità nell'intelligenza artificiale, spostando l'attenzione dalla semplice comprensione del comportamento dei modelli al supporto di decisioni migliori. Rappresenta un passo avanti concreto verso sistemi di IA non solo trasparenti, ma realmente utili nei processi decisionali.
