"Man mano che l'apprendimento automatico diventa onnipresente e viene utilizzato per le applicazioni con conseguenze più gravi, è necessario che le persone comprendano come stanno facendo previsioni in modo che si fidino di esso quando fa qualcosa di più di una pubblicità", afferma Jonathan Su, un membro dello staff tecnico nel Gruppo Informatics and Decision Support del MIT Lincoln Laboratory.
Attualmente, i ricercatori usano tecniche post hoc o un modello interpretabile come un albero decisionale per spiegare come un modello di black-box raggiunge la sua conclusione. Con le tecniche post hoc, i ricercatori osservano gli input e gli output di un algoritmo e quindi cercano di costruire una spiegazione approssimativa per ciò che è accaduto all'interno della scatola nera. Il problema con questo metodo è che i ricercatori possono solo intuire il funzionamento interno e le spiegazioni possono spesso essere errate. Gli alberi decisionali, che mappano le scelte e le loro potenziali conseguenze in una struttura ad albero, funzionano bene per dati categoriali le cui caratteristiche sono significative, ma questi alberi non sono interpretabili in domini importanti, come la visione artificiale e altri problemi di dati complessi.
Una rete neurale è un sistema di calcolo composto da molti elementi di elaborazione interconnessi. Queste reti vengono in genere utilizzate per l'analisi delle immagini e il riconoscimento degli oggetti. Ad esempio, un algoritmo può essere insegnato a riconoscere se una fotografia include un cane in cui vengono mostrate le foto dei cani. I ricercatori dicono che il problema con queste reti neurali è che le loro funzioni sono non lineari e ricorsive, così come complicate e confuse per gli umani, e il risultato finale è che è difficile individuare ciò che esattamente la rete ha definito "dogness" all'interno delle foto e cosa l'ha portato a questa conclusione.
Per risolvere questo problema, il team sta sviluppando quello che definisce "reti neurali prototipo". Questi sono diversi dalle reti neurali tradizionali in quanto codificano naturalmente le spiegazioni per ciascuna delle loro previsioni creando prototipi, che sono parti particolarmente rappresentative di un'immagine di input. Queste reti fanno le loro previsioni basate sulla somiglianza delle parti dell'immagine in ingresso a ciascun prototipo.
L'altra area che il team di ricerca sta esaminando riguarda i BRL, che sono alberi decisionali meno complicati e unilaterali adatti per dati tabulari e spesso precisi come altri modelli. I BRL sono fatti di una sequenza di affermazioni condizionali che formano naturalmente un modello interpretabile. Ad esempio, se la pressione sanguigna è elevata, il rischio di malattie cardiache è elevato. Su e colleghi stanno utilizzando le proprietà dei BRL per consentire agli utenti di indicare quali caratteristiche sono importanti per una previsione. Stanno anche sviluppando BRL interattivi, che possono essere adattati immediatamente quando arrivano nuovi dati anziché ricalibrati da zero su un set di dati in costante crescita.
Su spiega: "Speriamo di costruire una nuova capacità strategica per gli algoritmi di apprendimento automatico di laboratorio di cui le persone si fidano perché li comprendono".
