Un classico articolo di Drew McDermott, “Artificial Intelligence Meets Natural Stupidity“, critica i programmi di IA che cercano di rappresentare concetti come felicità è uno stato mentale utilizzando una rete semantica:
naturalmente all’interno del nodo “FELICITÀ” non c’è niente; è semplicemente un nudo elemento LISP con un nome suggestivo.
Quindi, dice McDermott, “un buon test per un programmatore disciplinato è di cercare di usare simboli auto generati nei punti chiave, e vedere se il suo programma gli sembra ancora credibile. Per esempio, se stato-mentale viene rinominato in G1073…” otterremmo È-UN(FELICITÀ, G1073) “che sembra molto più dubbio.”
O, come modificherei leggermente l’idea: se sostituissimo simboli a caso al posto di tutti i nomi suggestivi, saremmo completamente incapaci di immaginare cosa significa G1071(G1072, 1073). L’AI sta rappresentando hamburger? Mele? Felicità? Cli lo sa? Se cancelli i nomi suggestivi, non ricrescono da soli.
Supponiamo che un fisico ti dica che “la luce è fatta di onde“, e che tu gli creda. Ora nella tua testa c’è una piccola rete che dice È-UN(LUCE, ONDE). Se qualcuno ti chiede “di cos’è fatta la luce?” sei in grado di rispondergli “Onde!”
Come dice McDermott, “il nocciolo del problema è far sì che l’ascoltatore noti quello che gli è stato detto. Non ‘capisca’, ma ‘noti'”. Supponiamo che il fisico vi abbia invece detto che “la luce è fatta di piccole cose curve” (incidentalmente, Non è vero). Noteresti qualche differenza in termini di esperienza prevista?
Come potresti renderti conto che non ti puoi fidare dell’apparente conoscenza che “la luce è fatta di onde”? Un test che potresti applicare è di chiederti: “Potrei riprodurre questa conoscenza se venisse in qualche modo cancellata dalla mia mente?”
L’idea è simile a quella di anonimizzare i nomi suggestivi dei token LISP nel tuo programma di IA, e vedere se qualcun altro può immaginare a che cosa si dovrebbero “riferire”. È anche simile in spirito all’osservazione che, mentre un Aritmetico Artificiale può ricordare e ripetere che Somma-di(Sette, Sei)=Tredici, non è in grado di ricostruire questa conoscenza se viene cancellata dalla sua memoria, fino a che un altro umano non la reinserisce nel suo database. Esattamente come se tu dimenticassi che “la luce è fatta di onde”, non potresti riottenerne la conoscenza se non nello stesso modo con cui l’avevi ottenuta la prima volta – chiedendo a un fisico. Non potresti rigenerare la conoscenza da solo, allo stesso modo in cui i fisici l’hanno generata originariamente.
Le stesse esperienze che ci permettono di formulare una credenza, la collegano ad altre conoscenze e a informazioni sensoriali e ad azioni motorie. Se vedi un castoro che mastica un tronco, sai come è fatta questa cosa-che-mastica-tronchi, e sarai in grado di riconoscerla in futuro, indipendentemente dal fatto che la chiami “castoro”. Ma se la tua conoscenza sui castori viene da qualcuno che ti ha raccontato fatti sui “castori”, potresti non essere in grado di riconoscere un castoro quando ne vedi uno.
Questo è il terribile rischio nel cercare di raccontare a un’Intelligenza Artificiale fatti non potrebbe imparare da sola. È anche il rischio implicito nel raccontare a qualcuno fatti della fisica che non possono verificare loro stessi. Perché quello che un fisico intende per “onda” non è “una piccola cosa curva”, ma un puro concetto matematico.
Come osserva Davidson, se tu credi che i “castori” vivano nel deserto, siano di colore bianco, e pesino da adulti 300 libbre, tu non hai una credenza sui castori, vera o falsa che sia. La tua credenza sui “castori” non è neanche abbastanza corretta per essere sbagliata. Se non hai abbastanza esperienza per rigenerare la credenza nel caso venga cancellata, come puoi avere abbastanza esperienza per collegare quella credenza a qualsiasi altra cosa? Wittgenstein: “Una ruota che può girare senza che nient’altro giri con lei, non è parte di un meccanismo.”
Quando ho cominciato a leggere sull’IA ho capito quasi subito – anche prima di leggere McDermott – che sarebbe stata davvero una buona idea chiedere sempre a me stesso: “Come potrei riprodurre questa conoscenza se venisse cancellata dalla mia mente?”
Il test è tanto più rigido quanto più profonda la cancellazione. Se tutte le dimostrazioni del teorema di Pitagora fossero cancellate dalla mia mente, potrei dimostrarlo di nuovo? Penso di sì. Se tutta la conoscenza sul teorema di Pitagora fosse cancellata dalla mia mente, riscoprirei che c’è un teorema da dimostrare di nuovo? Questo è più difficile da sostenere senza poterlo verificare; ma se tu mi dessi un triangolo rettangolo con lati 3 e 4 e mi dicessi che si può calcolare la lunghezza dell’ipotenusa, credo che sarei capace di calcolarla, se avessi ancora conoscenza del resto della matematica.
E che dire del concetto di dimostrazione matematica? Se nessuno me lo avesse mai detto, sarei in grado di reinventarla sulla base di altre conoscenze e convinzioni in mio possesso? C’è stato un tempo in cui l’umanità non aveva un concetto simile. Qualcuno deve averlo inventato. Cos’è che ha notato? Potrei accorgermene se vedessi qualcosa di altrettanto nuovo e importante? Sarei capace di pensare così fuori dagli schemi?
Quanto delle tue conoscenze potresti ricostruire? Da una cancellazione quanto profonda? Non è solo una verifica per eliminare le convinzioni non sufficientemente connesse. È un modo per assorbire una fonte di conoscenza, invece di un singolo fatto.
Un pastore costruisce un sistema di conteggio che funziona buttando un ciottolo in un secchio ogni volta che una pecora esce dal recinto, e toglierne uno ogni volta che una pecora rientra. Se tu, l’apprendista, non capisci come funziona questo sistema – se è una magia che funziona senza una ragione apparente – non saprai cosa fare se aggiungi accidentalmente un ciottolo in più al secchio. Quello che tu stesso non puoi fare, non puoi rifarlo quando la situazione lo richiede. Non puoi tornare alla sorgente, modificare un parametro, e rigenerare il processo, se non hai la sorgente. Se “due più quattro fa sei” è per te un semplice fatto, e poi uno dei parametri diventa “cinque”, come puoi sapere che “due più cinque fa sette” quando ti era stato solo detto che “due più quattro fa sei”?
Se vedi un arbusto che lascia cadere un seme ogni volta che un uccello gli passa accanto, non ti verrà in mente che potresti usare questo arbusto per automatizzare parzialmente il tuo conta-pecore. Anche se hai imparato qualcosa che l’inventore originale potrebbe usare per migliorare la sua invenzione, tu non puoi tornare alla sorgente e ricrearla.
Quando comprendi la sorgente di un pensiero, quel pensiero può cambiare insieme a te quando acquisisci nuove conoscenze e nuove abilità. Quando comprendi la sorgente di un pensiero, questo diventa veramente una parte di te e cresce insieme a te.
Impegnati per renderti la sorgente di ogni pensiero che vale la pena di essere pensato. Se il pensiero veniva originariamente dall’esterno, assicurati che venga anche dall’interno. Chiediti continuamente: “Come potrei rigenerare questo pensiero se venisse cancellato?” Quando hai una risposta, immagina che anche quella conoscenza possa venir cancellata. E quando trovi una sorgente, vedi che cosa altro può darti.