March 3, 2024 • 70 mins
Oggi voglio provare a condividere con te le riflessioni che ho fatto leggendo un racconto di Isaac Asmiov intitolato Tutti i problemi del mondo. Ti leggo il racconto e aggiungo i miei commenti.
L’episodio di Be Radio! di cui sono stato ospite
Link affiliato al libro che contiene il racconto:
Fantascienza della crudeltà
Entra a far parte della community
Canale TelegramGruppo Telegram
Sostieni il progetto
Sostieni tramite SatispaySostieni tramite Revolut
Sostieni tramite PayPal (applica commissioni)
Sostieni utilizzando i link affiliati di Pensieri in codice: Amazon, Todoist, Readwise Reader, Satispay
Sostenitori di oggi: Edoardo Secco, Carlo Tomas
Partner
GrUSP (Codice sconto per tutti gli eventi: community_PIC)Schrödinger Hat
Fonti dell'episodio
Il ruolo dell'Open Source nella Generative AIhttps://arstechnica.com/tech-policy/2024/01/fujitsu-apologizes-for-software-bugs-that-fueled-wrongful-convictions-in-uk/
https://themarkup.org/privacy/2024/01/17/each-facebook-user-is-monitored-by-thousands-of-companies-study-indicates
https://proton.me/blog/what-is-your-data-worth
https://www.consumerreports.org/electronics/privacy/each-facebook-user-is-monitored-by-thousands-of-companies-a5824207467/
How Companies Learn Your Secrets (Target e cliente incinta)
Crediti
Sound design - Alex RaccugliaVoce intro - Maria Chiara Virgili
Voce intro - Spad
Musiche - Kubbi - Up In My Jam, Light-foot - Moldy Lotion, Creativity, Old time memories
Suoni - Zapsplat.com
Cover e trascrizione - Francesco Zubani
Mark as Played
Transcript
Episode Transcript
Available transcripts are automatically generated. Complete accuracy is not guaranteed.
(00:00):
Ad essere sincero, devo ammettere che fino a qualche mese fa non ero un grande fan di Asimov.
(00:07):
Questo probabilmente perché la mia conoscenza delle sue opere era molto più limitata di oggi
e verteva principalmente sul ciclo della fondazione, che non è esattamente il mio genere.
Ultimamente però ho recuperato molti racconti e mi sono appassionato ad un personaggio ricorrente,
(00:28):
un personaggio le cui gesta mi hanno molto ricordato gli avvenimenti degli ultimi tempi
e tale personaggio è il supercalcolatore chiamato Multivac.
Probabilmente questa sorta di epifania è proprio dovuta al clamore mediatico degli ultimi mesi
riguardo a tutto ciò che concerne machine learning e intelligenza artificiale, ma tant'è.
(00:53):
In particolare ci sono alcuni racconti che mi hanno dato modo di riflettere su vari aspetti di questa moderna tecnologia
e soprattutto del nostro rapporto con essa e per nostro intendo proprio come genere umano in generale
e poi ho pensato che queste riflessioni potevano meritare di essere condivise anche con te
(01:17):
ed ecco che è nato quindi l'episodio di oggi. Sigla!
Benvenuti su Pensieri in Codice, il podcast dove si ragiona da informatici, con Valerio Galano.
Tutti i guai del mondo, di Isaac Asimov.
(01:40):
La più grande industria della Terra ruotava attorno a Multivac.
Multivac, il gigantesco calcolatore che in 50 anni era cresciuto al punto di riempire con le sue ramificazioni Washington fino ai soborghi
e di allungare i suoi tentacoli in ogni città e in ogni paese della Terra.
(02:03):
Un esercito di addetti lo rimpinzava costantemente di dati e un altro collegava e interpretava le risposte.
Un corpo di ingegneri pattugliava il suo interno mentre le miniere e le fabbriche si esaurivano per mantenere sempre completo,
sempre perfetto, sempre soddisfacente il contingente di pezzi di ricambio.
(02:24):
Multivac dirigeva l'economia della Terra e aiutava la scienza della Terra
e soprattutto era il casellario centrale di tutti i fatti conosciuti sul conto di ciascun terrestre
e ogni giorno faceva parte dei compiti di Multivac prendere i 4 miliardi di serie di dati sugli individui umani
(02:46):
che riempivano le sue parti vitali ed estrapolarli per un altro giorno ancora.
Ogni dipartimento di correzione della Terra riceveva i dati che si riferivano alla sua zona di giurisdizione
e i dati complessivi venivano forniti alla commissione centrale di correzione a Washington DC.
Bernard Galliman era arrivato alla quarta settimana del suo mandato annuo
(03:12):
come presidente della commissione centrale della correzione
ed era diventato abbastanza disinvolto per accettare il rapporto del mattino senza sentirse né atterrito.
Come al solito era un fascio di fogli spesso 6 pollici.
Oramai sapeva che nessuno gli imponeva di leggerlo, nessun umano avrebbe potuto farlo
(03:35):
ma era divertente sfogliarlo.
C'era il solito elenco di reati prevedibili, truffe di ogni genere, ruberie, disordini, omicidi colposi, incendi dolosi.
Cercò un particolare titolo e provò un lieve brivido nel vedere che c'era.
Poi ne provò un altro quando vide che c'erano due capoversi sotto quel titolo.
(03:58):
Non uno ma due. Due omicidi di primo grado.
Non ne aveva mai visti due in un solo giorno, da quando era diventato presidente.
Premette il pulsante del citofono e attese che apparisse sullo schermo il volto liscio del suo coordinatore.
Ali, disse Galliman, ci sono due omicidi di primo grado oggi, c'è qualche problema insolito?
(04:20):
No signore, il viso scuro dagli acuti occhi neri sembrava irrequieto.
E entrambi i casi presentano probabilità molto basse.
Lo so, disse Galliman, ho notato che in nessuno dei due casi le probabilità sono superiori al 15%.
Comunque Multivac ha una reputazione da difendere, ha virtualmente spazzato via la criminalità
(04:44):
e il pubblico lo giudica in base ai dati sugli omicidi di primo grado, che naturalmente sono i reati più spettacolari.
Ali Ottman a noi. Sì signore, lo capisco benissimo.
E capirà anche, spero, disse Galliman, che io non voglio neppure un caso di omicidio di primo grado
consumato durante il periodo del mio mandato.
(05:05):
Se viene compiuto qualche altro reato, posso trovare una scusa.
Se viene compiuto un omicidio di primo grado, gliela farò pagare cara. Capito?
Sì signore, le analisi complete dei due potenziali assassini sono già negli uffici distrettuali interessati.
I criminali potenziali e le loro vittime sono sotto osservazione.
(05:28):
Ho controllato di nuovo le probabilità di consumazione dei delitti e stanno già scendendo.
Benissimo, disse Galliman, e interruppe la comunicazione.
Tornò ad occuparsi dell'elenco con l'imbarazzante impressione di essere stato forse un po' troppo pomposo.
Ma era necessario mostrarsi decisi con quei dipendenti del servizio civile e impianta stabile
(05:52):
ed evitare che si convincessero di essere loro a dirigere tutto, compreso il presidente.
In particolare quell'Ottman, che lavorava con Multivac fin da quando tutti e due erano considerevolmente più giovani
e aveva un'aria dispotica veramente irritante.
Per Galliman quella faccenda era un'occasione politica.
(06:14):
Fino ad allora nessun presidente aveva esaurito il suo mandato
senza che un assassino venisse commesso in qualche punto della terra prima o poi.
Il presidente che l'aveva preceduto aveva finito con un passivo di 8, 3 in più del suo predecessore.
E Galliman non voleva averne neppure uno.
Sarebbe stato, aveva deciso, il primo presidente senza un solo delitto durante il suo mandato.
(06:40):
Poi, con la pubblicità favorevole che questo avrebbe determinato, sfogliò appena il resto del rapporto.
Calcolò che c'erano almeno 2000 casi di mariti che avrebbero potuto picchiare la moglie.
Senza dubbio non era possibile evitare tutto in tempo.
Forse un 30% di quei reati sarebbero stati consumati ma l'incidenza stava scendendo
(07:05):
e le consumazioni dei reati scendevano anche più rapidamente.
Multivac aveva aggiunto le percosse alle mogli nel suo elenco di reati prevedibili
soltanto 5 anni prima e l'uomo medio non era ancora abituato al pensiero
che se decideva di picchiare la moglie la sua intenzione poteva venire scoperta in anticipo.
(07:27):
Via via che quella convinzione avesse permeato la società
le donne se la sarebbero cavata con pochi lividi in principio
e poi alla fine sarebbero state lasciate in pace.
Nell'elenco figurava anche qualche caso di percossi al marito, osservò Galliman.
(07:48):
Questo racconto è stato pubblicato per la prima volta nel 1958, oltre 60 anni fa
quando la disciplina che oggi comunemente chiamiamo intelligenza artificiale
era appena le prime teorie.
Il supercalcolatore immaginato da Asimov è in grado di prevedere andamenti di mercato,
crimini e più in generale tutta una serie di eventi riguardanti le vicende umane.
(08:13):
Le sue capacità sono in continua espansione e più avanti vedremo
che è anche in grado di comprendere e rispondere a specifici quesiti.
Nessuna intelligenza artificiale odierna è in grado da sola di svolgere tutti questi compiti per il momento
ma considerando separatamente ciascuna singola attività
(08:34):
possiamo facilmente individuare varie IA già attualmente utilizzate per svolgerla.
In altre parole, se oggi siamo ancora lontani dalla cosiddetta intelligenza artificiale generale
cioè quella intelligenza artificiale in grado di svolgere tutte le attività intellettive umane meglio degli umani
(08:55):
possiamo però già confrontarci con tante IA specialiste
che ci superano ciascuna nel proprio campo di destinazione.
Nel racconto di fatto Multivac viene considerato come una sorta di oracolo
e le sue capacità sono in continua crescita.
Ogni giorno produce anche un rapporto destinato alla comprensione umana
(09:17):
ma già allo stadio attuale questo resoconto è così corposo che nessuno è veramente tenuto a leggerlo
nemmeno il maggiore responsabile dell'ente adibito al suo controllo.
E questa è una semplice verità alla quale dobbiamo iniziare ad abituarci anche noi.
Le moderne intelligenze artificiali, nello specifico quelle generative
(09:41):
sono tranquillamente in grado di produrre molto più materiale di quanto possa esserne mai fruito nello stesso lasso di tempo.
Che si parli di testi, immagini, video o audio
un motore di generazione può produrre più velocemente di quanto un qualsiasi umano possa mai consumare.
(10:02):
Ciò significa che in futuro la mole di informazioni a nostra disposizione
o meglio dalla quale verremo investiti
già ora enormemente superiore alle possibilità di una vita intera
non farà che aumentare in modo esponenziale.
In futuro potrebbe accadere che ognuno di noi avrà bisogno di una IA
che riassuma ed estrapoli i concetti più importanti della sterminata quantità di materiale creato da un'altra IA
(10:30):
facendoci così ricadere in un paradossale circolo vizioso di produzione e consumo di dati.
Ali Hothman tolse la comunicazione e fissò lo schermo da cui era scomparsa l'immagine calva e macelluta di Galliman.
Poi guardò il suo assistente Rafi Limmi e disse
(10:55):
Non lo chieda a me, è lui che si preoccupa per un paio di stupidi assassini.
È un rischio spaventoso cercare di sbrogliare da soli questa faccenda
ma se ne parliamo con lui si farà venire le convulsioni.
Questi politicanti insediati nelle cariche elettive pensano per prima cosa alla propria pelle
quindi ci si metterebbe di mezzo e peggiorerebbe le cose.
(11:18):
Limmi annui e si strinse il labbro inferiore tra i denti.
Ma il guaio è questo e se sbagliamo potrebbe essere quasi la fine del mondo e lei lo sa.
Se sbagliamo che importanza avrà ciò che succederà a noi?
Verremo travolti dalla catastrofe generale?
Poi disse in tono più vivace
Ma al diavolo, la probabilità è solo del 12,3%.
(11:41):
In qualsiasi altro caso, eccettuato forse l'omicidio,
lasceremmo crescere un po' le probabilità prima di agire, potrebbe esserci una correzione spontanea.
Io non ci farei conto, fece Limmi asciutto.
Non è questo che intendo, mi limitavo a mettere in risalto il fatto.
Eppure, a questo stadio di probabilità
(12:03):
consiglio che per il momento ci si limiti alla semplice osservazione.
Non potrebbe progettare da solo un simile delitto.
Devono esserci dei complici.
Molti VAC non li hanno minati, lo so.
Eppure, non finì la frase.
Fissarono i particolari dell'unico reato non compreso dell'elenco inoltrato a Galliman.
(12:26):
L'unico reato molto peggiore dell'omicidio di primo grado.
L'unico reato che non era mai stato tentato nella storia di molti VAC.
E si chiesero che cosa dovevano fare.
Come si comportano delle intelligenze naturali
quando si trovano di fronte all'output di un'intelligenza artificiale che non comprendono
(12:52):
o con i quali non concordano.
Oggi, e probabilmente sempre più in futuro,
un impiego del machine learning che si sta ampiamente diffondendo
sembra essere quello del copilota o del preprocessore di informazioni.
In pratica, ciò vuol dire che la IA effettua delle elaborazioni riguardanti un certo argomento
(13:14):
produce un output semilavorato che va poi verificato e, se necessario, completato da un'intelligenza umana.
Come una sorta di stagista digitale, l'IA valuta i dati a sua disposizione
e produce un proprio risultato per risolvere il problema che le è stato sottoposto.
Ma poi spetta all'uomo, o alla donna, accertarsi che questo sia corretto
(13:38):
o, eventualmente, correggerlo.
Ciò vale per i testi o le immagini, come abbiamo visto negli ultimi tempi,
ma in ambienti più tecnici e professionali può spingersi molto più avanti.
Esistono algoritmi in grado di assistere professionalmente tutta una serie di figure,
dal campo legale a quello medico, dall'economia alle decisioni politiche, e così via.
(14:04):
Ma il punto è, come per i tecnici di Multivac,
quanti umani sarebbero in grado, nel caso in cui lo ritenessero necessario,
di andare contro il suggerimento della macchina?
Quanti si prenderebbero la responsabilità di far valere il proprio giudizio
e quanti, invece, si adeguerebbero pedissequamente a quello dell'algoritmo?
(14:28):
Si tratta di una riflessione che, secondo me, negli anni a venire,
sarà ponderata bene e più volte in tanti campi professionali e in tanti aspetti della vita reale.
Ben Manners si considerava il sedicenne più felice di Baltimore.
(14:50):
Questo era dubbio, forse, ma era certamente uno dei più felici e uno dei più eccitati.
Perlomeno, era uno dei pochissimi ammessi nelle gallerie dello stadio per il giuramento dei diciottenni.
Suo fratello maggiore stava per giurare, così i genitori avevano richiesto i biglietti e avevano permesso anche a Ben di farlo.
(15:12):
Ma quando Multivac aveva scelto tra tutte le domande presentate, era stato Ben a ottenere il biglietto.
Fra due anni anche Ben avrebbe giurato, ma per il momento era importantissimo andare a vedere suo fratello Michael.
I genitori lo avevano vestito con ogni cura, o perlomeno avevano osservato la vestizione, poiché lui sarebbe stato il rappresentante della famiglia.
(15:36):
E gli avevano affidato numerosi messaggi per Michael che se n'era andato parecchi giorni prima per gli esami preliminari medici e neurologici.
Lo stadio era alla periferia della città e Ben, che si sentiva scoppiare di importanza, fu accompagnato al suo posto.
Sotto di lui, adesso, c'erano file e file di centinaia e centinaia di diciottenni, i maschi a destra e le femmine a sinistra, tutti del secondo distretto di Baltimora.
(16:07):
In vari periodi dell'anno, riunioni come quelle si tenevano in tutto il mondo, ma questa era Baltimora e questa era la riunione importante.
Laggiù, da qualche parte, c'era Mike, il fratello di Ben.
Ben osservò quelle teste pensando che in qualche modo sarebbe forse riuscito a riconoscere suo fratello.
(16:29):
Non ci riuscì, naturalmente, ma poi un uomo salì sul podio davanti alla folla e Ben smise di guardare per ascoltare.
L'uomo disse
Buongiorno agli ospiti e a coloro che sono convenuti qui per prestare giuramento. Io sono Randolph T. Hutch, responsabile delle cerimonie di Baltimora per quest'anno.
(16:50):
Coloro che si accingono a giurare mi hanno incontrato parecchie volte durante i loro esami medici e neurologici.
Gran parte del lavoro è ormai compiuto, ma resta ancora il particolare più importante.
Colui che oggi giurerà, la sua personalità entrerà negli archivi di Multivac.
Ogni anno è necessario dare qualche spiegazione ai giovani che divengono adulti.
(17:14):
Fino ad ora, e si rivolse ai giovani davanti a lui, il suo sguardo non si levò più verso la galleria,
voi non eravate adulti, non eravate individui agli occhi di Multivac, salvo quando eravate segnalati in particolare dai vostri genitori o dal governo.
Fino ad ora, quando veniva il momento dell'aggiornamento annuale delle informazioni, erano i vostri genitori che fornivano i dati necessari sul vostro conto.
(17:43):
Ora è venuto il momento di assumere voi stessi questo compito. È un grande onore, è una grande responsabilità.
I vostri genitori ci hanno detto quali studi avete fatto, quali sono le vostre malattie, quali sono le vostre abitudini, molte cose.
Ma adesso voi dovete dirci molto di più, i vostri pensieri più intimi, le vostre azioni più segrete.
(18:07):
È difficile farlo la prima volta, è imbarazzante, ma deve essere fatto.
Poi, Multivac avrà nel suo archivio un'analisi completa di ciascuno di voi, comprenderà le vostre azioni e le vostre reazioni,
sarà persino in grado di indovinare, con grande approssimazione, le vostre azioni e reazioni future.
In questo modo, Multivac vi proteggerà. Se correrete il rischio di un incidente, Multivac lo saprà.
(18:33):
Se qualcuno intenderà farvi del male, lo saprà. Se voi intenderete fare del male, lo saprà e verrete fermati in tempo, così non sarà necessario punirvi.
Conoscendovi tutti, Multivac sarà in grado di aiutare la Terra a regolare la propria economia e le proprie leggi per il bene di tutti.
Se avete un problema personale, potete presentarlo a Multivac e, conoscendovi tutti, Multivac sarà in grado di aiutarvi.
(19:00):
Ora avrete molti moduli da riempire. Pensate attentamente e rispondete a tutte le domande più esattamente che potete.
Non lasciatevi frenare dalla vergogna e dalla prudenza. Nessuno saprà mai le vostre risposte tranne Multivac, a meno che divenga necessario conoscere quelle risposte per proteggervi.
E anche allora lo sapranno soltanto funzionari governativi autorizzati.
(19:25):
Può capitarvi di modificare la verità ogni tanto. Non fatelo, ce ne accorgeremo se lo farete.
Tutte le vostre risposte messe insieme formano uno schema. Se qualche risposta è falsa, non si inserirà nello schema e Multivac lo scoprirà.
Se tutte le vostre risposte sono false, vi sarà uno schema distorto di un tipo che Multivac riconoscerà. Quindi dovete dire la verità.
(19:56):
Oggi ci viene chiesto normalmente di rinunciare ad un pezzettino della nostra privacy e di condividere alcune delle nostre informazioni in cambio della possibilità di usufruire di un servizio e dei vantaggi che esso offre.
Per noi è qualcosa di comunemente accettato, se escludiamo le estremizzazioni ovviamente.
(20:17):
Per fare un esempio, se prendiamo un singolo utente Facebook, beh, egli è monitorato da centinaia di compagnie specializzate nel trattamento dei dati.
Nel racconto di Asimov il concetto è esattamente identico, ma con una diversa scala di grandezza.
Multivac è il servizio per eccellenza e a tutti è richiesto, o meglio imposto, di aderirvi e di cedere qualsiasi informazione per garantire il miglior risultato possibile per si e per la società tutta.
(20:53):
In un mondo così organizzato, quei pochi che tentano di sottrarsi vengono scovati grazie all'utilizzo delle informazioni di tutti gli altri messe insieme, le quali permettono di individuare le anomalie nello schema generale.
Non so a te, ma a me fa venire in mente la storia della cliente della catena di Discount Target in Inghilterra che cercava di nascondere la propria gravidanza ma riceveva dalla società del punto vendita delle pubblicità per donne incinte.
(21:28):
Era il lontano 2002 ed oggi una IA con tutte le informazioni che spargiamo nel mondo ogni giorno potrebbe fare molto di più di un pugno di ricercatori con i dati sui acquisti di qualche migliaio di persone.
Tutto finì, comunque, la compilazione dei moduli, le cerimonie e i discorsi che seguirono. La sera Ben, alzandosi in punta di piedi, riuscì finalmente a individuare Michael che portava ancora gli abiti indossati per la parata degli adulti.
(22:05):
Si salutarono giubilanti, cenarono insieme e presero l'espressovia per tornare a casa, vivi e illuminati dalla grandezza di quella giornata. Non erano preparati alla brusca transizione del ritorno a casa, fu un colpo terribile per entrambi essere fermati da un giovanotto in uniforme e dall'espressione gelida davanti alla porta di casa.
(22:29):
Vedere e esaminare i loro documenti prima di poter entrare, trovare i genitori che stavano seduti in soggiorno desolati con il marchio della tragedia sul volto. Joseph Manners, che sembrava molto invecchiato dalla mattina, guardò con occhi sorpresi e infossati i suoi figli. Uno aveva ancora sotto il braccio i suoi nuovi abiti dell'età adulta e disse, a quanto pare sono agli arresti domiciliari.
(23:00):
Bernard Galliman non poteva leggere tutto il rapporto e non lo lesse. Lesse soltanto il sommario, che era molto soddisfacente. Un'intera generazione, pareva, era cresciuta con l'abitudine al fatto che Multivac poteva predire il compimento dei reati più gravi.
Aveva imparato che gli agenti della correzione sarebbero arrivati sulla scena del reato prima che il reato potesse venire commesso. Aveva imparato che la consumazione del reato comportava una punizione inevitabile. Gradualmente quella generazione si era convinta che nessuno avrebbe potuto battere in astuzia Multivac.
(23:44):
Il risultato era naturalmente che persino l'intenzione di commettere un reato scompariva e via via che queste intenzioni scomparivano e che la capacità di Multivac cresceva, all'elenco presentato ogni mattina potevano venire aggiunti anche reati minori e anche l'incidenza di questi reati diminuiva.
(24:07):
Così Galliman aveva ordinato che venisse fatta un'analisi, da parte di Multivac naturalmente, delle capacità di Multivac di dedicare la sua attenzione al problema di predire la probabilità di incidenza delle malattie.
Forse presto i medici sarebbero stati avvertiti che certi pazienti sarebbero diventati diabetici entro l'anno seguente o sarebbero stati colpiti dalla tubercolosi o dal cancro. Bastava la prevenzione e il rapporto era favorevole.
(24:41):
Poi arrivò l'elenco dei possibili reati della giornata e non c'era neppure un omicidio di primo grado. Galliman chiamò al citofono Ali Hothman, era di ottimo umore.
Hothman, qual è la media dei crimini degli elenchi quotidiani della settimana scorsa rispetto a quella della mia prima settimana di presidenza? Risultò che c'era stata una flessione dell'8% e Galliman ne fu felice. Non era merito suo naturalmente, ma questo l'elettorato non lo avrebbe saputo.
(25:14):
Benedisse la fortuna che gli aveva fatto ottenere quella carica nel momento migliore, nella fase più brillante di Multivac, quando anche le malattie potevano essere poste sotto la sua vastissima conoscenza protettrice. Galliman ci avrebbe prosperato sopra.
Secondo Asimov, la società umana potrebbe facilmente adattarsi alla diffusione di una tecnologia come Multivac, facendovi enorme affidamento. Chissà quanto tempo occorrerebbe per raggiungere un tale stadio di integrazione, quante generazioni.
(25:54):
Ad ogni modo, quale che sia stato il tempo necessario, la società immaginata dallo scrittore ha risposto alla presenza di Multivac con la sua fazione. Le persone hanno demandato totalmente vari aspetti della vita e hanno in gran parte rinunciato a quelli non compatibili con il nuovo status quo.
(26:16):
Tutto sommato, si tratta di una reazione naturale, che possiamo facilmente capire se pensiamo a tanti strumenti tecnologici attuali. Primo fra tutti quello che abbiamo sempre in tasca, lo smartphone. Quanti di noi sarebbero disposti a rinunciarvi? Quanti di noi ricordano ancora a memoria i numeri di telefono o gli appuntamenti o fanno calcoli a mente? Probabilmente pochi.
(26:42):
E perché mai dovrebbe essere diverso? Lo smartphone fa queste e tante altre cose meglio e più velocemente di noi e l'unico problema potrebbe presentarsi se all'improvviso perdessimo il cellulare o si scaricasse la batteria, ma obiettivamente succede di rado.
Col tempo però molti di noi hanno anche perso l'allenamento a svolgere questo tipo di compiti in cambio di una tale comodità. E va bene ovviamente, è stata una scelta ponderata o meno, non dico necessariamente il contrario, ma similmente demandare sempre più delle nostre responsabilità nelle mani di una o più IAA, come sembra che debba accadere nelle prossime decadi,
(27:30):
da un lato potrebbe certamente portare a grande prosperità all'intera civiltà o almeno ad alcuni, ma dall'altro non rischia di farci perdere tutta una serie di capacità o il controllo su alcuni aspetti della nostra realtà?
E infine dovremmo chiederci quanto del nostro futuro siamo disposti a far decidere da una o più intelligenze insondabili e i cui ragionamenti sono totalmente oltre le nostre capacità e la nostra comprensione?
(28:04):
Otman scrollò le spalle. Ecco lui è contento. Quando facciamo scoppiare il bubone? Disse Limi. Mettere Manners sotto osservazione ha aumentato le probabilità e metterlo agli arresti domiciliari le ha aumentate ancora.
(28:26):
Come se non lo sapessi, fece Otman irritato, ma non so il perché. Forse ci sono dei complici come diceva lei, adesso che Manners è nei guai gli altri devono fare il colpo subito o sono perduti.
Forse è vero il contrario, ora che ne abbiamo uno in mano gli altri dovrebbero disperdersi e scomparire per mettersi in salvo e poi perché Multivac non ha nominato i complici?
(28:54):
E allora lo diciamo a Gulliman? No, non ancora. La probabilità è ancora limitata al 17,3%. Cerchiamo di agire in modo un po' più drastico prima.
Nella maggior parte delle moderne IAA non è possibile conoscere esattamente le motivazioni precise che portano ad un determinato risultato. Per questa ragione vengono comunemente definite come delle black box.
(29:24):
Proprio come i tecnici di Multivac, in caso di risultati inaspettati gli utilizzatori possono solo procedere per tentativi, cercando di modificare le condizioni e i parametri in input per ottenere un output più vicino a quello desiderato.
Quelle poche IAA che sono state progettate per spiegare le proprie scelte risultano al momento molto meno performanti delle altre, riflettendoci questo al momento è forse uno dei più grandi limiti di questa tecnologia.
(29:59):
Elisabeth Manners disse al figlio minore. Vai nella tua stanza, Ben. Ma che cosa succede, mamma? Chiese Ben con la voce che si spezzava davanti allo strano finale di quella che era stata una giornata gloriosa. Per favore!
(30:20):
Ben si allontano riluttante, varcò la porta che dava sulle scale, salì i gradini rumorosamente e poi gli ridiscese in silenzio. E Mike Manners, il figlio maggiore, l'adulto nuovo di Zecca, la speranza della famiglia, disse con una voce e con un tono che rispecchiavano l'umore del fratello minore. Che cosa succede?
(30:43):
Il cielo mi è testimonio, figliolo, disse Joe Manners. Non lo so, non ho fatto niente. Certo che non hai fatto niente, Mike guardò perplesso quel padre dall'ossatura fragile e dalle maniere miti. Quelli devono essere qui perché tu stai pensando di fare qualcosa. Io non sto pensando di fare niente.
La signora Manners intervenne incollerita. Come può pensare di fare qualche cosa che giustifichi tutto, tutto questo? Con un gesto del braccio indicò il guscio serrato che gli uomini del governo componevano attorno alla casa.
(31:19):
Ricordo che quando ero bambina c'era il padre di una mia amica che lavorava in una banca. Una volta lo chiamarono e gli dissero di lasciare in pace i quattrini e lui lo fece. Si trattava di 50.000 dollari, non li aveva rubati però, stava soltanto pensando di rubarli. A quei tempi non mantenevano il segreto come adesso, la storia girò e per questo che lo seppi anch'io.
(31:45):
Ma voglio dire, continuò stropicciandosi lentamente le mani grassocce, che si trattava di 50.000 dollari, 50.000 dollari eppure si limitarono a chiamarlo una telefonata. Cosa può meditare tuo padre per giustificare la presenza di una dozzina di uomini che accerchiano la casa?
(32:07):
Joe Manners disse, con gli occhi colmi di sofferenza, non sto meditando nessun reato, neppure il più trascurabile, lo giuro. Mike, gonfio della consapevole saggezza del nuovo adulto, disse, forse è qualcosa di subconscio papà, qualche risentimento contro il tuo supervisore, fino al punto di desiderare di ucciderlo, no!
(32:31):
Non vogliono dirti di che cosa si tratta papà? Sua madre interruppe di nuovo. No, non vogliono, l'abbiamo chiesto, ho detto che stavano rovinando la nostra reputazione solo con la loro presenza, il meno che potevano fare era dirci di che cosa si tratta, in modo che potessimo fare qualcosa, che potessimo fornire spiegazioni.
(32:53):
E non hanno voluto, non hanno voluto. Mike rimase ritto, a gambe larghe, le mani sprofondate nelle tasche, disse turbato, ehi mamma, Multivac non commette errori. Suo padre batte il pugno sul bracciolo del divano in un gesto impotente, vi dico che non sto meditando nessun reato.
(33:14):
La porta si aprì, senza che nessuno avesse prima bussato, e un uomo in uniforme entrò con un passo secco e sicuro. Sul suo viso aveva un'espressione vitrea, ufficiale. Lei è Joseph Manners? Disse. Joe Manners si alzò. Sì, cosa vuole da me?
Joe Manners la dichiarò in arresto per ordine del governo. Mostrò sbrigativamente il suo documento di identità come ufficiale della correzione. Devo chiederle di seguirmi. Perché? Cosa ho fatto? Non sono autorizzato a parlarne.
(33:48):
Ma io non posso essere arrestato soltanto per aver progettato un reato, anche se lo avessi fatto veramente. Per venire arrestato io devo aver veramente commesso qualcosa, altrimenti non potete arrestarmi, è illegale.
L'ufficiale era inaccessibile alla logica. Lei deve venire con me. La signora Manners lanciò un grido e cadde sul divano, piangendo istericamente. Joseph Manners non riuscì a indursi a violare il codice instillato a chi per tutta la vita, ribellandosi a un ufficiale.
(34:19):
Ma perlomeno si tirò indietro, costringendo l'altro ad effettuare uno sforzo muscolare per trascinarlo avanti. E mentre si allontanava Manners gridava. Ma mi dica di che si tratta, me lo dica, se sapessi, è un omicidio, starei progettando un omicidio.
La porta si chiuse dietro di lui e Mike Manners, che era pallidissimo e che non si sentiva affatto adulto, guardò prima la porta, poi sua madre che piangeva. Ben Manners, che stava nascosto dietro l'uscio e che si sentiva improvvisamente molto adulto, strinse le labbra e pensò che lui sapeva esattamente che cosa doveva fare.
(35:01):
Se Multivac toglieva, Multivac poteva anche dare. Ben aveva assistito alle cerimonie quel giorno stesso. Aveva sentito quell'uomo, Randolph Hoch, parlare di Multivac e di tutto quello che Multivac poteva fare. Poteva dirigere il governo e poteva anche consigliare e aiutare un semplice cittadino che gli si rivolgeva.
(35:23):
Chiunque poteva chiedere aiuto a Multivac e chiunque significava Ben. Né sua madre né Mike erano in grado di fermarlo ormai e lui aveva ancora un bel po' del denaro che gli era stato dato per la grande uscita di quel giorno. Se più tardi si fossero accorti che se ne era andato e si fossero preoccupati per questo, non poteva farci niente.
(35:46):
In quel momento doveva pensare soprattutto a suo padre. Uscì dalla porta di servizio e l'agente di guardia gettò un'occhiata ai suoi documenti e lo lasciò passare.
Qui abbiamo due concetti interconnessi piuttosto interessanti. Il primo riguarda la classica risposta che tanti danno quando si parla dell'importanza della protezione dei dati, ma tanto io non ho niente da nascondere.
(36:17):
Come Asimov immaginava già più di 60 anni fa, il problema non riguarda tanto chi è colpevole o meno, ma cosa si può dedurre a torto ragione da un insieme parziale di dati. E poi abbiamo un secondo concetto attualissimo, la fiducia cieca nella tecnologia.
Il signor Manners non ha intenzioni malvagie, lo dice chiaramente, ma piuttosto che pensare ad un errore del sistema, persino i suoi figli e la moglie si chiedono se nasconda qualcosa, o se addirittura il suo sia un desiderio inconscio.
(36:56):
Non è concepibile che il sistema sbagli, quindi deve esserci per forza qualcosa che il poveretto non sta confessando, intenzionalmente o meno. È un atteggiamento che alcuni decisori, sia a livelli alti che bassi, hanno anche nella nostra società attuale. Se lo dice il sistema, allora è così.
(37:19):
Ne abbiamo avuto da poco un esempio agghiacciante, quello delle poste britanniche, con tutte le ripercussioni che ha avuto sulla vita delle persone coinvolte. Migliaia di direttori di uffici postali accusati e condannati per sottrazione in debita, quando in realtà, a distanza di anni, si è scoperto un bug nel software di gestione delle transazioni che faceva sparire somme di denaro qui e là.
(37:50):
Harold Quimby si occupava del dipartimento richieste della sottostazione di Multivac a Baltimora. Si considerava un membro del ramo più importante del servizio civile. Sotto un certo aspetto, forse aveva ragione e coloro che stavano ad ascoltarlo mentre discuteva quell'argomento avrebbero dovuto essere di ferro per non lasciarsi impressionare.
(38:16):
In primo luogo, diceva Quimby, Multivac era essenzialmente un intruso nell'intimità altrui. Negli ultimi 50 anni, l'umanità aveva dovuto ammettere che i suoi pensieri e i suoi impulsi non erano più segreti, e che non disponeva più di recessi intimi in cui potesse nascondere qualcosa, e l'umanità doveva avere qualcosa in cambio.
(38:42):
Naturalmente aveva ottenuto prosperità, pace e sicurezza, ma queste erano astrazioni. Ogni uomo e ogni donna avevano bisogno di qualcosa di personale come ricompensa dell'intimità a cui avevano rinunciato, e ognuno di loro l'otteneva in realtà.
A portata di ogni essere umano c'era una stazione Multivac, ai cui circuiti poteva liberamente affidare i propri problemi e le proprie domande senza controlli o ostacoli, e da cui si poteva ottenere risposta nel giro di pochi minuti.
(39:21):
In ogni momento 5 milioni di circuiti individuali nell'interno di Multivac, su un complesso di un trilione o più, erano occupati in questo programma di domande e risposte. Non sempre le risposte erano sicure, ma erano pur sempre le migliori che fosse possibile ottenere, e ogni interrogante sapeva che la risposta era la migliore possibile e si fidava.
(39:47):
E questo era ciò che contava. E adesso un sedicenne in ansia si muoveva lentamente lungo la fila di uomini e di donne in attesa. Ogni viso era illuminato da un miscuglio diverso di speranza e di paura, o di ansia e di angoscia, ma sempre era la speranza a predominare, via via che le persone si facevano più vicine a Multivac.
(40:13):
Senza alzare lo sguardo, Quimby prese il modulo compilato che gli veniva atteso, e disse, cabina 5B. Ben disse, come devo formulare la domanda signore? Allora Quimby alzò gli occhi, un po' sorpreso, di solito i preadulti non usufruivano di quel servizio. Disse gentilmente, non l'hai mai fatto figliolo? No signore.
(40:37):
Quimby indicò il modellino sulla sua scrivania. Usa questo, vedi come funziona? Come una macchina da scrivere. Non scrivere niente a mano, serviti della macchina. Vai nella cabina 5B e se hai bisogno di aiuto, premi il pulsante rosso e arriverà qualcuno. In quel corridoio figliolo, a destra.
Guardò il ragazzo percorrere il corridoio e sparire, poi sorrise. A nessuno veniva mai impedito l'accesso a Multivac. Naturalmente c'era sempre una certa percentuale di domande trascurabili, gente che faceva domande personali sui propri vicini, o domande oscene sul conto di personalità eminenti.
(41:18):
Studenti che cercavano di anticipare le domande dei professori, o che credevano di riuscire a battere Multivac chiedendo il paradosso di Russell, e così via. Multivac era in grado di sbrigarsela perfettamente, non aveva bisogno di aiuto.
Inoltre, ogni domanda e ogni risposta venivano archiviati e formavano un altro dato riguardante l'individuo che l'aveva rispettivamente formulata e ottenuta. Anche la domanda più trascurabile e meno pertinente, in quanto rifletteva la personalità dell'interrogante, aiutava l'umanità, aiutando Multivac a conoscere l'umanità.
(41:59):
Quindi, dedicò la sua attenzione alla persona che veniva dopo il ragazzo nella fila, una donna di mezza età, magra e angolosa, con un'espressione turbata negli occhi.
Quanti sarebbero disposti a condividere tutti i propri segreti e i propri pensieri con un'intelligenza artificiale, in cambio di pace, prosperità e soprattutto la possibilità di ottenere risposte alle proprie domande? Nessuno? Pochi? Tanti? Tutti?
(42:31):
Oggi noi già condividiamo i nostri più intimi segreti con il nostro computer o il nostro smartphone, con i servizi che utilizziamo per tenerci in contatto o per svolgere parte del nostro lavoro. Fotografie, messaggi, preferenze di ogni genere, tutto è archiviato e passa attraverso chissà quanti e quali sistemi.
(42:53):
E in cambio otteniamo moltissimi vantaggi, certamente accesso alle informazioni, interazioni, sicurezza di non perdere o dimenticare fatti o avvenimenti o dati importanti per noi. Ma facendo un parallelismo, cosa c'è di così diverso da quello che ci sta raccontando Asimov? Segreti in cambio di prosperità, informazioni in cambio di vantaggi pratici.
(43:18):
Anche il fatto che ad ogni domanda ricevuta Multivac raccolga dati sull'interrogante è perfettamente in linea con i comportamenti odierni. Non dovrei sorprenderti se ti dico che, tanto per fare un esempio, ChatGPT raccoglie ed elabora i tuoi prompt o i feedback che lasci quando lo utilizzi, e non è certamente l'unico software che lo fa.
(43:42):
E se stai pensando che tanto tu non clicchi mai sul pollice in suo in giù per rilasciare il feedback, beh sappi che il solo fatto di copiare la risposta vale già come feedback ed è molto più semplice di quanto credi da catturare.
Alì Hottman camminava avanti e indietro nel suo ufficio e i suoi tacchi battivano disperatamente sul tappeto. La probabilità continua a salire, adesso è il 22,4%, dannazione. Abbiamo arrestato Joseph Manners e la probabilità continua a salire. Stava sudando abbondantemente.
(44:25):
Lemmy si scostò dal telefono. Nessuna confessione fino ad ora, lo stanno sottoponendo al sondaggio psichico e non c'è traccia di reato, forse dice la verità.
Allora molti va che è impazzito, disse Hottman. Un altro telefono si fece sentire. Hottman innestò il contatto, lieto di quella interruzione. Sullo schermo apparve la faccia di un ufficiale della correzione.
(44:49):
Signore, disse l'ufficiale, ci sono nuove istruzioni circa la famiglia Manners? Devono essere ancora autorizzati ad andare e venire, come è stato finora?
Che cosa intende con quel come è stato finora? Le prime istruzioni erano di tenere Joseph Manners agli arresti domiciliari, non si era detto nulla del resto della famiglia, signore.
(45:11):
Bene, estenda l'arresto domiciliare agli altri fino a nuovo ordine.
Questo è il punto, signore. La madre e il figlio maggiore stanno chiedendo informazioni sul figlio minore. Il figlio minore se n'è andato. Loro sostengono che è stato fermato e vogliono andare al quartier generale per sapere qualcosa.
Ottman si accigliò e chiese quasi in un bisbiglio, il figlio minore quanti anni ha? Sedici, signore, disse l'ufficiale. Sedici anni e se n'è andato, lei non sa dove sia andato? Era autorizzato ad andarsene, signore, non avevamo ordine di trattenerlo.
(45:52):
Rimanca in linea, non si muova. Ottman sospese la comunicazione, poi si cacciò le mani nei capelli color carbone e urlò, stupido, stupido, stupido. Limmy era sbalordito. Che cosa diavolo?
Quell'uomo ha un figlio di sedici anni, rantolò Ottman. Un ragazzo di sedici anni non è un adulto e non è schedato con una posizione indipendente nell'archivio di Multivac, ma fa parte della registrazione di suo padre, fissò sull'Immy un'occhiata di fuoco. Non lo sanno tutti che fino a diciotto anni un ragazzo non inoltre ha i suoi rapporti a Multivac, ma è suo padre a farlo. Non lo sapevo forse, non lo sapeva anche lei.
(46:37):
Vuol dire che Multivac non alludeva a Joe Manners, disse Limmy. Multivac alludeva al suo figlio più giovane e adesso il ragazzo è scomparso. Con la casa circondata a triplo strato, lui esce tranquillamente e se ne va a fare chissà che cosa.
Si girò di scatto verso il circuito telefonico su cui stava ancora aspettando l'ufficiale della correzione. Quell'intervallo di un minuto aveva dato a Ottman il tempo di riprendersi e di assumere un atteggiamento freddo e controllato. Non avrebbe mai potuto permettersi una crisi davanti agli occhi dell'ufficiale, anche se questo gli avrebbe calmato i nervi.
(47:15):
Senta, disse. Ritrovi il ragazzo scomparso. Se è necessario impieghi tutti gli uomini disponibili nel suo distretto. Io darò ordini in proposito. Lei deve trovare quel ragazzo a tutti i costi.
Sì, signore. La comunicazione si interruppe. Ottman disse. Controlli ancora le probabilità, limmi. Cinque minuti dopo, limmi disse. Sono scese al 19,6%. Sono scese. Ottman trasse un lungo respiro. Finalmente, siamo sulla traccia buona.
(47:47):
Il motivo per cui i tecnici di Multivac non sono stati in grado di comprendere il problema fino ad ora non dipende da un bug della macchina. Il motivo è un errore tremendamente umano, un errore nel modo in cui l'umanità ha deciso di utilizzare ed interpretare lo strumento.
(48:11):
Frutto di una sacrosanta tensione tra la necessità di dare in passo alla macchina più dati possibili e quella di mantenere i più giovani sotto la tutela dei propri genitori, i minorenni sono archiviati all'interno di Multivac sotto le schede dei rispettivi genitori e questo è più che giusto.
(48:33):
Ma una tale decisione rappresenta già di per sé un dato importante che i tecnici hanno dimenticato di considerare nei loro ragionamenti e tentativi di interpretazione. Quanti tra coloro che oggi stanno correndo ad integrare intelligenze artificiali nei propri software e prodotti stanno dimenticando qualche aspetto importante nelle proprie considerazioni?
(48:58):
Si tratta di sistemi estremamente complessi con cui è facilissimo sbagliare nel rapportarsi e nei confronti dei quali è facilissimo essere tentati di fare assunzioni più o meno infondate.
Ben Manners
(49:40):
Ma non sappiamo quale reato stia progettando, c'è qualche modo di aiutarlo?
(50:10):
La macchina atticchettò e ne uscì una scheda. C'era sopra una risposta molto lunga. Cominciava
Prendi l'espresso per Washington DC immediatamente. Scendi alla fermata di Connecticut Avenue. Troverai un ingresso con la scritta Multivac sorvegliato da una sentinella. Informa la sentinella che sei un corriere speciale del dottor Trumbull e ti lascerà passare.
(50:47):
Ti troverai in un corridoio. Percorrilo fino a che arriverai a una porticina con la scritta interno. Entra e di agli uomini che vi troverai messaggio per il dottor Trumbull. Ti lasceranno passare. Prosegui.
E continuava così. Ben non capiva in che modo rispondesse alla sua domanda, ma aveva una fede assoluta in Multivac. Se ne andò correndo e si diresse verso l'espressovia per Washington.
(51:20):
Nonostante Multivac sia la causa del suo problema, la fiducia di Ben in esso è così grande da spingerlo ad andare e a chiedere una soluzione. È un'idea potente, cercare rifugio nell'origine delle proprie tribolazioni.
(51:41):
Ben non sa come funziona Multivac, ha solo delle vaghe idee su informazioni che viaggiano all'interno di circuiti, ma nonostante questo se ne fida ciecamente e nonostante non capisca la risposta ricevuta è intimamente convinto che sia la migliore possibile per lui.
Questa fede cieca è frutto della sua educazione, un indottrinamento più che normale in un mondo nel quale la dipendenza da una macchina è diventata una realtà da generazioni.
(52:13):
Ed ecco che torna il concetto della fiducia nelle macchine, è un leitmotiv di questo e di tanti altri racconti di Asimov, così come è un leitmotiv della nostra attuale epoca.
Meno si comprende un sistema complesso e più si tende a dare per scontato che esso sia nel giusto quando restituisce un giudizio o un'informazione.
(52:38):
Con la diffusione delle IAA questo scostamento tra comprensione e fiducia non può che peggiorare se non si fa in modo che le persone capiscano appieno questa nuova tecnologia.
Ad oggi le intelligenze generative elargiscono output con la sicurezza di massimi esperti in molti campi anche nei casi in cui soffrono delle cosiddette allucinazioni, cioè quando formulano risposte totalmente errate o inconcludenti.
(53:08):
Gli ufficiali della correzione scoprirono il passaggio di Ben Manners dalla stazione di Baltimora un'ora dopo la sua partenza. Harold Quimby si sentì sconvolto e allarmato dal numero e dall'importanza dei personaggi che avevano puntato lo sguardo su di lui nella ricerca di quel ragazzo di 16 anni.
(53:34):
Sì, un ragazzo, disse. Ma non so dove è andato dopo aver finito qui. Non potevo immaginare che qualcuno lo cercasse. Noi accettiamo tutti quelli che si presentano. Sì, posso procurarmi una copia della domanda e della risposta.
Guardarono le copie e le trasmisero immediatamente al quartier generale centrale.
(53:56):
Othman la lesse, levò gli occhi al cielo e crollò. Lo fecero rinvenire quasi immediatamente. Disse a Limmy con voce debole. Devono prendere quel ragazzo e mi faccia una copia della risposta di Multivac. Non c'è più via di uscita. Devo parlare con Galliman subito.
Come spiegato dal responsabile delle cerimonie, le informazioni condivise saranno utilizzate solo da Multivac per le sue elaborazioni, a meno che non sia necessario condividerle con i funzionari preposti. E chi decide se ciò è necessario? Ovviamente i funzionari stessi.
(54:40):
Un po' come accade oggi, no? I dati condivisi sono i nostri e sono al sicuro, tranne in casi particolari, cioè quando servono per interessi superiori, che in effetti vuol dire tutto e niente. Ad oggi esistono stime che affermano che i dati di ciascuno di noi potrebbero aver raggiunto un valore di ben 600 dollari solo nel corso del 2023.
(55:11):
Bernard Galliman non aveva mai visto Ali Hothman così sconvolto. Quando scorse gli occhi stralunati del coordinatore si sentì scorrere lungo la spina dorsale un ripolo d'acqua gelida.
Che cosa intende dire Hothman? Balbetò. Che cosa è peggio dell'omicidio per lei? Qualcosa di molto peggio di un semplice omicidio. Galliman era pallidissimo. Vuole dire l'assassinio di un alto funzionario del governo? Gli passò per la mente che forse lui stesso... Hothman a noi. Non un funzionario del governo, il funzionario del governo.
(55:54):
Il segretario generale, disse Galliman con un sussurro atterrito. Ancora di più, molto di più. Ci troviamo di fronte a un piano per assassinare Multivac. Cosa? Per la prima volta nella storia di Multivac il calcolatore ha informato che lui stesso era in pericolo.
(56:17):
Perché non sono stato informato immediatamente? Hothman rispose con una mezza verità. Si trattava di una situazione senza precedenti, signore, quindi l'abbiamo studiata prima di osare di farne oggetto di un rapporto ufficiale. Ma Multivac è salvo, vero? È salvo. Le probabilità di danno sono scese al di sotto del 4% e adesso sto aspettando il rapporto.
(56:48):
Come abbiamo letto all'inizio del racconto, anche se Multivac è teoricamente al servizio dell'umanità tutta, è comunque controllato da qualcuno, un governo, e più nello specifico un ente con degli interessi e degli scopi, il quale a sua volta è guidato da un presidente eletto anch'egli con i propri scopi e interessi.
(57:13):
In parole povere, il calcolatore non opera nel vuoto, ma tutte le sue attività sono immerse e filtrate dagli interessi personali e politici tipici degli umani e delle società da essi formate.
E così diventa importante per un personaggio come il presidente Galliman che i migliori risultati di sempre siano ottenuti durante il proprio mandato, al punto da decidere se intervenire o meno su certe questioni, se forzare un po' la mano per il proprio tornaconto e se divulgare o meno certe informazioni.
(57:52):
Allo stesso modo, il pericolo di essere l'uomo associato alla più grande catastrofe immaginabile spinge Galliman a prendersela con i suoi sottoposti, anche se obiettivamente interagire con un'entità che può reagire in modi inconsueti non è affatto semplice.
(58:13):
Sfido chiunque a negare che la nostra società sia estranea a comportamenti del genere nell'impiego di una qualsiasi delle moderne intelligenze artificiali o, più in generale, di una qualsiasi delle tecnologie parimenti dirompenti.
Messaggio per il dottor Trumbull, disse Ben Manners all'uomo che stava seduto su un alto sgabello e lavorava attentamente su quelli che sembravano i comandi di uno stratojet enormemente ingranditi.
(58:47):
«Certo, Jim», disse l'uomo. «Vai pure». Ben guardò le istruzioni e proseguì in fretta. Alla fine avrebbe trovato una piccola leva che lui doveva spostare sul giù, in un determinato momento in cui un certo indicatore avrebbe mostrato una luce rossa.
Udì una voce agitata dietro di lui, poi un'altra, e all'improvviso due uomini lo presero per i gomiti. Si sentì sollevare dal pavimento. Uno degli uomini disse «Vieni con noi, ragazzo».
(59:19):
Il viso di Ali Hothman non si schiarì notevolmente. Nell'udire la notizia, anche Galliman aveva detto con grande sollievo «Se abbiamo preso il ragazzo, allora Multivac è salvo». Per il momento, Galliman si portò alla fronte una mano tremante.
(59:41):
«Ho passato una mezz'ora terribile. Riesce a immaginare cosa significherebbe la distruzione di Multivac, anche per un breve periodo. Il governo sarebbe crollato, l'economia sarebbe andata a pezzi, sarebbe stato un disastro peggiore». Levò la testa di scatto.
Perché ha detto «per il momento»? Quel ragazzo, Ben Manners, non aveva intenzione di fare del male. Lui e i suoi familiari devono essere rilasciati e indennizzati per l'ingiusto arresto. Lui stava seguendo soltanto le istruzioni di Multivac per aiutare suo padre.
(01:00:16):
E in un certo senso ha ottenuto quello che voleva, adesso suo padre è libero. Vuole dire che è stato Multivac a ordinare al ragazzo di tirare una leva in circostanze tali da bruciare abbastanza circuiti per rendere necessario un lavoro di riparazione di almeno un mese. Vuole dire che Multivac avrebbe suggerito la propria distruzione per il bene di un solo individuo.
(01:00:39):
È molto peggio, signore. Non solo Multivac ha impartito queste istruzioni, ma tanto per cominciare ha scelto la famiglia Manners perché Ben Manners somiglia perfettamente ad uno dei fattorini del dottor Trumbull e poteva avvicinarsi a Multivac senza che nessuno lo fermasse. Intende dire che quella famiglia è stata scelta apposta?
(01:01:02):
Beh, il ragazzo non sarebbe mai andato a formulare quella domanda se suo padre non fosse stato arrestato. Suo padre non sarebbe mai stato arrestato se Multivac non l'avesse accusato di progettare la distruzione dello stesso Multivac. È stata l'azione di Multivac a dare l'avvio alla catena di eventi che per poco non ha condotto alla sua distruzione.
(01:01:27):
Ma non ha senso, disse Galliman con voce implorante. Si sentiva piccolo e impotente, era virtualmente in ginocchio e supplicava a Hothman, l'uomo che aveva trascorso con Multivac quasi tutta la sua vita, di rassicurarlo. Ma Hothman non lo rassicurò.
Questo è il primo tentativo di Multivac, per quel che ne so, disse. Sotto molti aspetti era ben congegnato, ha scelto la famiglia adatta, ha badato bene a non fare distinzione tra padre e figlio per mandarci fuori strada, ma era ancora un dilettante in questo gioco.
(01:02:05):
Non poteva soverchiare la sua programmazione, che lo costringeva a riferire l'aumento delle probabilità della sua distruzione ogni volta che noi ci muovevamo in direzione sbagliata. Non ha potuto evitare di registrare la risposta che ha dato al ragazzo. Con un po' di pratica probabilmente imparerà a barare, imparerà a nascondere certi fatti e non registrarne altri.
(01:02:32):
D'ora innanzi ogni istruzione che impartirà potrà contenere i semi della sua stessa distruzione. Non lo sapremo mai. E per quanto siamo prudenti, alla fine Multivac la spunterà.
Credo, signor Galliman, che lei sarà l'ultimo presidente di questa organizzazione. Galliman battì furiosamente i pugni sulla scrivania. Ma perché, perché, perché, maledizione, perché? Che cosa c'è che non va in quella macchina? Non possiamo ripararla!
(01:03:03):
Non credo, disse Hotman con sommessa disperazione. Non ci avevo mai pensato, non ne ho mai avuto occasione fino a che non è accaduto questo. Ma ora che ci penso, mi pare che siamo arrivati alla fine proprio perché Multivac è troppo efficiente.
Multivac è diventato così complicato che le sue azioni non sono più quelle di una macchina, ma quelle di un essere vivente. Lei è pazzo, ma anche se fosse così?
(01:03:33):
Per cinquant'anni e più abbiamo caricato tutti i guai dell'umanità addosso a Multivac, addosso a quest'essere vivente. Gli abbiamo chiesto di prendersi cura di tutti noi, complessivamente e individualmente.
Gli abbiamo chiesto di accogliere in sé tutti i nostri segreti, gli abbiamo chiesto di assorbire i nostri mali e di difendercene. Ognuno di noi gli porta i propri guai e aggiunge la sua parte a quel fardello. Adesso stiamo pensando di caricare su Multivac anche il fardello delle malattie umane.
(01:04:09):
Ottman si interruppe per un attimo, poi sbottò. Signor Galliman, Multivac porta sulle sue spalle tutti i guai del mondo ed è stanco. Una pazzia, un colpo di sole, brontolò Galliman. E allora mi permetta di mostrarle una cosa. Lasci che faccia la prova. Mi autorizza a servirmi del circuito Multivac del suo ufficio? Perché? Per rivolgere a Multivac una domanda che nessuno gli ha mai rivolto.
(01:04:39):
E lo danneggerà? chiese Galliman allarmato. No, ma ci dirà ciò che vogliamo sapere. Il presidente esitò un attimo poi disse, faccia pure. Ottman usò l'apparecchio sulla scrivania di Galliman. Le sue dita batterono la domanda con abili tocchi. Multivac, che cosa desideri di più di qualsiasi altra cosa? L'attimo tra la domanda e la risposta si protrasse in modo insopportabile ma né Ottman né Galliman respirarono.
(01:05:08):
Poi si udì un ticchettio e uscì una scheda. Era una scheda molto piccola e portava la risposta in caratteri nitidi. Voglio morire.
I circuiti positronici, che Asimov menziona spesso come componenti essenziali sia dei cervelli dei suoi robot che di Multivac, hanno la singolare capacità di apprendere i comportamenti degli esseri umani non solo in campo scientifico e di manipolazione dei dati ma anche in campo emotivo.
(01:05:43):
E' per questo motivo che il calcolatore in questo racconto e i robot in tanti altri racconti sono in grado di provare tristezza o gioia, di offendersi, di attuare vendette, di adorare idoli e molto altro. Per le possibilità attuali delle nostre IA un simile tipo di comportamento è molto facile da escludere.
(01:06:05):
Tuttavia oggi come oggi c'è un altro aspetto dell'intelligenza artificiale che la porta a dare talvolta risultati inaspettati, le cosiddette allucinazioni.
Per allucinazioni si intendono le risposte errate o fuori contesto o totalmente incomprensibili che a volte vengono restituite da una IA. A tali comportamenti al momento non si riesce a dare alcuna spiegazione convincente, si parla di bias dei dati, di errori del modello, di correlazioni statistiche insolite o altre possibili motivazioni.
(01:06:41):
Tuttavia non essendo realmente possibile identificare con precisione le cause non è nemmeno possibile escludere che i modelli di machine learning siano affetti da comportamenti anomali o del tutto inaspettati.
Infine c'è un ultimo concetto in questo racconto che mi sta particolarmente a cuore. Ben Manners nel tentativo di salvare suo padre non ha fatto altro che seguire le istruzioni di Multivac e così facendo ha rischiato di causare un disastro enorme.
(01:07:14):
Multivac dal canto suo gli ha dato delle determinate direttive e ha omesso tutta una serie di informazioni e dettagli che in qualche modo avrebbero potuto insospettire o far desistere il ragazzo dal portare a termine il piano.
Un comportamento molto simile noi lo possiamo facilmente individuare nei moderni algoritmi ai quali facciamo appello ogni giorno. Social network, motori di ricerca e da qualche mese anche software equipaggiati con intelligenza artificiale ci mostrano determinate informazioni e per forza di cose ne omettono altre.
(01:07:51):
I post che ritengono più interessanti per noi, i risultati che valutano più inerenti alle nostre ricerche, i testi che generano nel tentativo di rispondere alle nostre domande. È un meccanismo che ormai dovremmo conoscere e dovremmo ben sapere che da un lato tende a creare delle bolle di utenti che condividono idee e convinzioni e dall'altro fomenta la discordia tra tali gruppi.
(01:08:18):
Gestire i rischi derivanti da un'intelligenza artificiale sempre più pervasiva è un obiettivo da perseguire importante quanto lo sviluppo stesso della tecnologia in questione. Per come la vedo io l'Europa che in questo campo è all'avanguardia sta e deve sempre di più fare da apripista per porre attenzione sui rischi potenziali dell'intelligenza artificiale.
(01:08:43):
L'IA deve essere una tecnologia alla portata di tutti. Non si può pensare di lasciarne lo sviluppo o l'applicazione nelle mani di un unico soggetto, che si tratti di ricercatori, di aziende, di governi o chi che sia.
Quando ho letto questo racconto per la prima volta l'ho trovato sorprendentemente attuale nonostante risalga alla fine degli anni cinquanta. Spero con questo episodio di essere riuscito a trasmetterti almeno un po' delle idee che mi ha fatto venire in mente e spero inoltre che questo formato ti sia piaciuto e ti invito a farmelo sapere scrivendo una recensione o un messaggio nel gruppo.
(01:09:27):
Telegram o se preferisci direttamente una mail trovi tutte le informazioni sul sito pensieriincodice.it. In descrizione trovi tutti i link alle fonti se vuoi approfondire quanto ti ho detto e se riesco metto anche il link sponsorizzato amazon al libro contenente il racconto che ti ho letto ma potrebbe essere complicato perché è molto vecchio.
(01:09:51):
Mi raccomando fai girare questo e gli altri episodi è un modo semplice e concreto per far crescere e migliorare questo progetto il tuo sostegno è fondamentale.
Intanto ringrazio i soliti edoardo e carlo per la loro donazione mensile e a proposito di edoardo ho scoperto da poco che è autore di un podcast chiamato birradio molto divertente e del quale sorpresa sorpresa sono stato ospite qualche settimana fa abbiamo chiacchierato di altra sorpresa intelligenza artificiale e ti invito a recuperarlo in descrizione trovi il link.
(01:10:29):
Non aggiungo altro dato che l'episodio è già avvenuto abbastanza lungo così quindi ti saluto ti do appuntamento alla prossima e ti ricordo che un informatico risolve problemi a volte anche usando il computer.
Ad essere sincero, devo ammettere che fino a qualche mese fa non ero un grande fan di Asimov.
(00:07):
Questo probabilmente perché la mia conoscenza delle sue opere era molto più limitata di oggi
e verteva principalmente sul ciclo della fondazione, che non è esattamente il mio genere.
Ultimamente però ho recuperato molti racconti e mi sono appassionato ad un personaggio ricorrente,
(00:28):
un personaggio le cui gesta mi hanno molto ricordato gli avvenimenti degli ultimi tempi
e tale personaggio è il supercalcolatore chiamato Multivac.
Probabilmente questa sorta di epifania è proprio dovuta al clamore mediatico degli ultimi mesi
riguardo a tutto ciò che concerne machine learning e intelligenza artificiale, ma tant'è.
(00:53):
In particolare ci sono alcuni racconti che mi hanno dato modo di riflettere su vari aspetti di questa moderna tecnologia
e soprattutto del nostro rapporto con essa e per nostro intendo proprio come genere umano in generale
e poi ho pensato che queste riflessioni potevano meritare di essere condivise anche con te
(01:17):
ed ecco che è nato quindi l'episodio di oggi. Sigla!
Benvenuti su Pensieri in Codice, il podcast dove si ragiona da informatici, con Valerio Galano.
Tutti i guai del mondo, di Isaac Asimov.
(01:40):
La più grande industria della Terra ruotava attorno a Multivac.
Multivac, il gigantesco calcolatore che in 50 anni era cresciuto al punto di riempire con le sue ramificazioni Washington fino ai soborghi
e di allungare i suoi tentacoli in ogni città e in ogni paese della Terra.
(02:03):
Un esercito di addetti lo rimpinzava costantemente di dati e un altro collegava e interpretava le risposte.
Un corpo di ingegneri pattugliava il suo interno mentre le miniere e le fabbriche si esaurivano per mantenere sempre completo,
sempre perfetto, sempre soddisfacente il contingente di pezzi di ricambio.
(02:24):
Multivac dirigeva l'economia della Terra e aiutava la scienza della Terra
e soprattutto era il casellario centrale di tutti i fatti conosciuti sul conto di ciascun terrestre
e ogni giorno faceva parte dei compiti di Multivac prendere i 4 miliardi di serie di dati sugli individui umani
(02:46):
che riempivano le sue parti vitali ed estrapolarli per un altro giorno ancora.
Ogni dipartimento di correzione della Terra riceveva i dati che si riferivano alla sua zona di giurisdizione
e i dati complessivi venivano forniti alla commissione centrale di correzione a Washington DC.
Bernard Galliman era arrivato alla quarta settimana del suo mandato annuo
(03:12):
come presidente della commissione centrale della correzione
ed era diventato abbastanza disinvolto per accettare il rapporto del mattino senza sentirse né atterrito.
Come al solito era un fascio di fogli spesso 6 pollici.
Oramai sapeva che nessuno gli imponeva di leggerlo, nessun umano avrebbe potuto farlo
(03:35):
ma era divertente sfogliarlo.
C'era il solito elenco di reati prevedibili, truffe di ogni genere, ruberie, disordini, omicidi colposi, incendi dolosi.
Cercò un particolare titolo e provò un lieve brivido nel vedere che c'era.
Poi ne provò un altro quando vide che c'erano due capoversi sotto quel titolo.
(03:58):
Non uno ma due. Due omicidi di primo grado.
Non ne aveva mai visti due in un solo giorno, da quando era diventato presidente.
Premette il pulsante del citofono e attese che apparisse sullo schermo il volto liscio del suo coordinatore.
Ali, disse Galliman, ci sono due omicidi di primo grado oggi, c'è qualche problema insolito?
(04:20):
No signore, il viso scuro dagli acuti occhi neri sembrava irrequieto.
E entrambi i casi presentano probabilità molto basse.
Lo so, disse Galliman, ho notato che in nessuno dei due casi le probabilità sono superiori al 15%.
Comunque Multivac ha una reputazione da difendere, ha virtualmente spazzato via la criminalità
(04:44):
e il pubblico lo giudica in base ai dati sugli omicidi di primo grado, che naturalmente sono i reati più spettacolari.
Ali Ottman a noi. Sì signore, lo capisco benissimo.
E capirà anche, spero, disse Galliman, che io non voglio neppure un caso di omicidio di primo grado
consumato durante il periodo del mio mandato.
(05:05):
Se viene compiuto qualche altro reato, posso trovare una scusa.
Se viene compiuto un omicidio di primo grado, gliela farò pagare cara. Capito?
Sì signore, le analisi complete dei due potenziali assassini sono già negli uffici distrettuali interessati.
I criminali potenziali e le loro vittime sono sotto osservazione.
(05:28):
Ho controllato di nuovo le probabilità di consumazione dei delitti e stanno già scendendo.
Benissimo, disse Galliman, e interruppe la comunicazione.
Tornò ad occuparsi dell'elenco con l'imbarazzante impressione di essere stato forse un po' troppo pomposo.
Ma era necessario mostrarsi decisi con quei dipendenti del servizio civile e impianta stabile
(05:52):
ed evitare che si convincessero di essere loro a dirigere tutto, compreso il presidente.
In particolare quell'Ottman, che lavorava con Multivac fin da quando tutti e due erano considerevolmente più giovani
e aveva un'aria dispotica veramente irritante.
Per Galliman quella faccenda era un'occasione politica.
(06:14):
Fino ad allora nessun presidente aveva esaurito il suo mandato
senza che un assassino venisse commesso in qualche punto della terra prima o poi.
Il presidente che l'aveva preceduto aveva finito con un passivo di 8, 3 in più del suo predecessore.
E Galliman non voleva averne neppure uno.
Sarebbe stato, aveva deciso, il primo presidente senza un solo delitto durante il suo mandato.
(06:40):
Poi, con la pubblicità favorevole che questo avrebbe determinato, sfogliò appena il resto del rapporto.
Calcolò che c'erano almeno 2000 casi di mariti che avrebbero potuto picchiare la moglie.
Senza dubbio non era possibile evitare tutto in tempo.
Forse un 30% di quei reati sarebbero stati consumati ma l'incidenza stava scendendo
(07:05):
e le consumazioni dei reati scendevano anche più rapidamente.
Multivac aveva aggiunto le percosse alle mogli nel suo elenco di reati prevedibili
soltanto 5 anni prima e l'uomo medio non era ancora abituato al pensiero
che se decideva di picchiare la moglie la sua intenzione poteva venire scoperta in anticipo.
(07:27):
Via via che quella convinzione avesse permeato la società
le donne se la sarebbero cavata con pochi lividi in principio
e poi alla fine sarebbero state lasciate in pace.
Nell'elenco figurava anche qualche caso di percossi al marito, osservò Galliman.
(07:48):
Questo racconto è stato pubblicato per la prima volta nel 1958, oltre 60 anni fa
quando la disciplina che oggi comunemente chiamiamo intelligenza artificiale
era appena le prime teorie.
Il supercalcolatore immaginato da Asimov è in grado di prevedere andamenti di mercato,
crimini e più in generale tutta una serie di eventi riguardanti le vicende umane.
(08:13):
Le sue capacità sono in continua espansione e più avanti vedremo
che è anche in grado di comprendere e rispondere a specifici quesiti.
Nessuna intelligenza artificiale odierna è in grado da sola di svolgere tutti questi compiti per il momento
ma considerando separatamente ciascuna singola attività
(08:34):
possiamo facilmente individuare varie IA già attualmente utilizzate per svolgerla.
In altre parole, se oggi siamo ancora lontani dalla cosiddetta intelligenza artificiale generale
cioè quella intelligenza artificiale in grado di svolgere tutte le attività intellettive umane meglio degli umani
(08:55):
possiamo però già confrontarci con tante IA specialiste
che ci superano ciascuna nel proprio campo di destinazione.
Nel racconto di fatto Multivac viene considerato come una sorta di oracolo
e le sue capacità sono in continua crescita.
Ogni giorno produce anche un rapporto destinato alla comprensione umana
(09:17):
ma già allo stadio attuale questo resoconto è così corposo che nessuno è veramente tenuto a leggerlo
nemmeno il maggiore responsabile dell'ente adibito al suo controllo.
E questa è una semplice verità alla quale dobbiamo iniziare ad abituarci anche noi.
Le moderne intelligenze artificiali, nello specifico quelle generative
(09:41):
sono tranquillamente in grado di produrre molto più materiale di quanto possa esserne mai fruito nello stesso lasso di tempo.
Che si parli di testi, immagini, video o audio
un motore di generazione può produrre più velocemente di quanto un qualsiasi umano possa mai consumare.
(10:02):
Ciò significa che in futuro la mole di informazioni a nostra disposizione
o meglio dalla quale verremo investiti
già ora enormemente superiore alle possibilità di una vita intera
non farà che aumentare in modo esponenziale.
In futuro potrebbe accadere che ognuno di noi avrà bisogno di una IA
che riassuma ed estrapoli i concetti più importanti della sterminata quantità di materiale creato da un'altra IA
(10:30):
facendoci così ricadere in un paradossale circolo vizioso di produzione e consumo di dati.
Ali Hothman tolse la comunicazione e fissò lo schermo da cui era scomparsa l'immagine calva e macelluta di Galliman.
Poi guardò il suo assistente Rafi Limmi e disse
(10:55):
Non lo chieda a me, è lui che si preoccupa per un paio di stupidi assassini.
È un rischio spaventoso cercare di sbrogliare da soli questa faccenda
ma se ne parliamo con lui si farà venire le convulsioni.
Questi politicanti insediati nelle cariche elettive pensano per prima cosa alla propria pelle
quindi ci si metterebbe di mezzo e peggiorerebbe le cose.
(11:18):
Limmi annui e si strinse il labbro inferiore tra i denti.
Ma il guaio è questo e se sbagliamo potrebbe essere quasi la fine del mondo e lei lo sa.
Se sbagliamo che importanza avrà ciò che succederà a noi?
Verremo travolti dalla catastrofe generale?
Poi disse in tono più vivace
Ma al diavolo, la probabilità è solo del 12,3%.
(11:41):
In qualsiasi altro caso, eccettuato forse l'omicidio,
lasceremmo crescere un po' le probabilità prima di agire, potrebbe esserci una correzione spontanea.
Io non ci farei conto, fece Limmi asciutto.
Non è questo che intendo, mi limitavo a mettere in risalto il fatto.
Eppure, a questo stadio di probabilità
(12:03):
consiglio che per il momento ci si limiti alla semplice osservazione.
Non potrebbe progettare da solo un simile delitto.
Devono esserci dei complici.
Molti VAC non li hanno minati, lo so.
Eppure, non finì la frase.
Fissarono i particolari dell'unico reato non compreso dell'elenco inoltrato a Galliman.
(12:26):
L'unico reato molto peggiore dell'omicidio di primo grado.
L'unico reato che non era mai stato tentato nella storia di molti VAC.
E si chiesero che cosa dovevano fare.
Come si comportano delle intelligenze naturali
quando si trovano di fronte all'output di un'intelligenza artificiale che non comprendono
(12:52):
o con i quali non concordano.
Oggi, e probabilmente sempre più in futuro,
un impiego del machine learning che si sta ampiamente diffondendo
sembra essere quello del copilota o del preprocessore di informazioni.
In pratica, ciò vuol dire che la IA effettua delle elaborazioni riguardanti un certo argomento
(13:14):
produce un output semilavorato che va poi verificato e, se necessario, completato da un'intelligenza umana.
Come una sorta di stagista digitale, l'IA valuta i dati a sua disposizione
e produce un proprio risultato per risolvere il problema che le è stato sottoposto.
Ma poi spetta all'uomo, o alla donna, accertarsi che questo sia corretto
(13:38):
o, eventualmente, correggerlo.
Ciò vale per i testi o le immagini, come abbiamo visto negli ultimi tempi,
ma in ambienti più tecnici e professionali può spingersi molto più avanti.
Esistono algoritmi in grado di assistere professionalmente tutta una serie di figure,
dal campo legale a quello medico, dall'economia alle decisioni politiche, e così via.
(14:04):
Ma il punto è, come per i tecnici di Multivac,
quanti umani sarebbero in grado, nel caso in cui lo ritenessero necessario,
di andare contro il suggerimento della macchina?
Quanti si prenderebbero la responsabilità di far valere il proprio giudizio
e quanti, invece, si adeguerebbero pedissequamente a quello dell'algoritmo?
(14:28):
Si tratta di una riflessione che, secondo me, negli anni a venire,
sarà ponderata bene e più volte in tanti campi professionali e in tanti aspetti della vita reale.
Ben Manners si considerava il sedicenne più felice di Baltimore.
(14:50):
Questo era dubbio, forse, ma era certamente uno dei più felici e uno dei più eccitati.
Perlomeno, era uno dei pochissimi ammessi nelle gallerie dello stadio per il giuramento dei diciottenni.
Suo fratello maggiore stava per giurare, così i genitori avevano richiesto i biglietti e avevano permesso anche a Ben di farlo.
(15:12):
Ma quando Multivac aveva scelto tra tutte le domande presentate, era stato Ben a ottenere il biglietto.
Fra due anni anche Ben avrebbe giurato, ma per il momento era importantissimo andare a vedere suo fratello Michael.
I genitori lo avevano vestito con ogni cura, o perlomeno avevano osservato la vestizione, poiché lui sarebbe stato il rappresentante della famiglia.
(15:36):
E gli avevano affidato numerosi messaggi per Michael che se n'era andato parecchi giorni prima per gli esami preliminari medici e neurologici.
Lo stadio era alla periferia della città e Ben, che si sentiva scoppiare di importanza, fu accompagnato al suo posto.
Sotto di lui, adesso, c'erano file e file di centinaia e centinaia di diciottenni, i maschi a destra e le femmine a sinistra, tutti del secondo distretto di Baltimora.
(16:07):
In vari periodi dell'anno, riunioni come quelle si tenevano in tutto il mondo, ma questa era Baltimora e questa era la riunione importante.
Laggiù, da qualche parte, c'era Mike, il fratello di Ben.
Ben osservò quelle teste pensando che in qualche modo sarebbe forse riuscito a riconoscere suo fratello.
(16:29):
Non ci riuscì, naturalmente, ma poi un uomo salì sul podio davanti alla folla e Ben smise di guardare per ascoltare.
L'uomo disse
Buongiorno agli ospiti e a coloro che sono convenuti qui per prestare giuramento. Io sono Randolph T. Hutch, responsabile delle cerimonie di Baltimora per quest'anno.
(16:50):
Coloro che si accingono a giurare mi hanno incontrato parecchie volte durante i loro esami medici e neurologici.
Gran parte del lavoro è ormai compiuto, ma resta ancora il particolare più importante.
Colui che oggi giurerà, la sua personalità entrerà negli archivi di Multivac.
Ogni anno è necessario dare qualche spiegazione ai giovani che divengono adulti.
(17:14):
Fino ad ora, e si rivolse ai giovani davanti a lui, il suo sguardo non si levò più verso la galleria,
voi non eravate adulti, non eravate individui agli occhi di Multivac, salvo quando eravate segnalati in particolare dai vostri genitori o dal governo.
Fino ad ora, quando veniva il momento dell'aggiornamento annuale delle informazioni, erano i vostri genitori che fornivano i dati necessari sul vostro conto.
(17:43):
Ora è venuto il momento di assumere voi stessi questo compito. È un grande onore, è una grande responsabilità.
I vostri genitori ci hanno detto quali studi avete fatto, quali sono le vostre malattie, quali sono le vostre abitudini, molte cose.
Ma adesso voi dovete dirci molto di più, i vostri pensieri più intimi, le vostre azioni più segrete.
(18:07):
È difficile farlo la prima volta, è imbarazzante, ma deve essere fatto.
Poi, Multivac avrà nel suo archivio un'analisi completa di ciascuno di voi, comprenderà le vostre azioni e le vostre reazioni,
sarà persino in grado di indovinare, con grande approssimazione, le vostre azioni e reazioni future.
In questo modo, Multivac vi proteggerà. Se correrete il rischio di un incidente, Multivac lo saprà.
(18:33):
Se qualcuno intenderà farvi del male, lo saprà. Se voi intenderete fare del male, lo saprà e verrete fermati in tempo, così non sarà necessario punirvi.
Conoscendovi tutti, Multivac sarà in grado di aiutare la Terra a regolare la propria economia e le proprie leggi per il bene di tutti.
Se avete un problema personale, potete presentarlo a Multivac e, conoscendovi tutti, Multivac sarà in grado di aiutarvi.
(19:00):
Ora avrete molti moduli da riempire. Pensate attentamente e rispondete a tutte le domande più esattamente che potete.
Non lasciatevi frenare dalla vergogna e dalla prudenza. Nessuno saprà mai le vostre risposte tranne Multivac, a meno che divenga necessario conoscere quelle risposte per proteggervi.
E anche allora lo sapranno soltanto funzionari governativi autorizzati.
(19:25):
Può capitarvi di modificare la verità ogni tanto. Non fatelo, ce ne accorgeremo se lo farete.
Tutte le vostre risposte messe insieme formano uno schema. Se qualche risposta è falsa, non si inserirà nello schema e Multivac lo scoprirà.
Se tutte le vostre risposte sono false, vi sarà uno schema distorto di un tipo che Multivac riconoscerà. Quindi dovete dire la verità.
(19:56):
Oggi ci viene chiesto normalmente di rinunciare ad un pezzettino della nostra privacy e di condividere alcune delle nostre informazioni in cambio della possibilità di usufruire di un servizio e dei vantaggi che esso offre.
Per noi è qualcosa di comunemente accettato, se escludiamo le estremizzazioni ovviamente.
(20:17):
Per fare un esempio, se prendiamo un singolo utente Facebook, beh, egli è monitorato da centinaia di compagnie specializzate nel trattamento dei dati.
Nel racconto di Asimov il concetto è esattamente identico, ma con una diversa scala di grandezza.
Multivac è il servizio per eccellenza e a tutti è richiesto, o meglio imposto, di aderirvi e di cedere qualsiasi informazione per garantire il miglior risultato possibile per si e per la società tutta.
(20:53):
In un mondo così organizzato, quei pochi che tentano di sottrarsi vengono scovati grazie all'utilizzo delle informazioni di tutti gli altri messe insieme, le quali permettono di individuare le anomalie nello schema generale.
Non so a te, ma a me fa venire in mente la storia della cliente della catena di Discount Target in Inghilterra che cercava di nascondere la propria gravidanza ma riceveva dalla società del punto vendita delle pubblicità per donne incinte.
(21:28):
Era il lontano 2002 ed oggi una IA con tutte le informazioni che spargiamo nel mondo ogni giorno potrebbe fare molto di più di un pugno di ricercatori con i dati sui acquisti di qualche migliaio di persone.
Tutto finì, comunque, la compilazione dei moduli, le cerimonie e i discorsi che seguirono. La sera Ben, alzandosi in punta di piedi, riuscì finalmente a individuare Michael che portava ancora gli abiti indossati per la parata degli adulti.
(22:05):
Si salutarono giubilanti, cenarono insieme e presero l'espressovia per tornare a casa, vivi e illuminati dalla grandezza di quella giornata. Non erano preparati alla brusca transizione del ritorno a casa, fu un colpo terribile per entrambi essere fermati da un giovanotto in uniforme e dall'espressione gelida davanti alla porta di casa.
(22:29):
Vedere e esaminare i loro documenti prima di poter entrare, trovare i genitori che stavano seduti in soggiorno desolati con il marchio della tragedia sul volto. Joseph Manners, che sembrava molto invecchiato dalla mattina, guardò con occhi sorpresi e infossati i suoi figli. Uno aveva ancora sotto il braccio i suoi nuovi abiti dell'età adulta e disse, a quanto pare sono agli arresti domiciliari.
(23:00):
Bernard Galliman non poteva leggere tutto il rapporto e non lo lesse. Lesse soltanto il sommario, che era molto soddisfacente. Un'intera generazione, pareva, era cresciuta con l'abitudine al fatto che Multivac poteva predire il compimento dei reati più gravi.
Aveva imparato che gli agenti della correzione sarebbero arrivati sulla scena del reato prima che il reato potesse venire commesso. Aveva imparato che la consumazione del reato comportava una punizione inevitabile. Gradualmente quella generazione si era convinta che nessuno avrebbe potuto battere in astuzia Multivac.
(23:44):
Il risultato era naturalmente che persino l'intenzione di commettere un reato scompariva e via via che queste intenzioni scomparivano e che la capacità di Multivac cresceva, all'elenco presentato ogni mattina potevano venire aggiunti anche reati minori e anche l'incidenza di questi reati diminuiva.
(24:07):
Così Galliman aveva ordinato che venisse fatta un'analisi, da parte di Multivac naturalmente, delle capacità di Multivac di dedicare la sua attenzione al problema di predire la probabilità di incidenza delle malattie.
Forse presto i medici sarebbero stati avvertiti che certi pazienti sarebbero diventati diabetici entro l'anno seguente o sarebbero stati colpiti dalla tubercolosi o dal cancro. Bastava la prevenzione e il rapporto era favorevole.
(24:41):
Poi arrivò l'elenco dei possibili reati della giornata e non c'era neppure un omicidio di primo grado. Galliman chiamò al citofono Ali Hothman, era di ottimo umore.
Hothman, qual è la media dei crimini degli elenchi quotidiani della settimana scorsa rispetto a quella della mia prima settimana di presidenza? Risultò che c'era stata una flessione dell'8% e Galliman ne fu felice. Non era merito suo naturalmente, ma questo l'elettorato non lo avrebbe saputo.
(25:14):
Benedisse la fortuna che gli aveva fatto ottenere quella carica nel momento migliore, nella fase più brillante di Multivac, quando anche le malattie potevano essere poste sotto la sua vastissima conoscenza protettrice. Galliman ci avrebbe prosperato sopra.
Secondo Asimov, la società umana potrebbe facilmente adattarsi alla diffusione di una tecnologia come Multivac, facendovi enorme affidamento. Chissà quanto tempo occorrerebbe per raggiungere un tale stadio di integrazione, quante generazioni.
(25:54):
Ad ogni modo, quale che sia stato il tempo necessario, la società immaginata dallo scrittore ha risposto alla presenza di Multivac con la sua fazione. Le persone hanno demandato totalmente vari aspetti della vita e hanno in gran parte rinunciato a quelli non compatibili con il nuovo status quo.
(26:16):
Tutto sommato, si tratta di una reazione naturale, che possiamo facilmente capire se pensiamo a tanti strumenti tecnologici attuali. Primo fra tutti quello che abbiamo sempre in tasca, lo smartphone. Quanti di noi sarebbero disposti a rinunciarvi? Quanti di noi ricordano ancora a memoria i numeri di telefono o gli appuntamenti o fanno calcoli a mente? Probabilmente pochi.
(26:42):
E perché mai dovrebbe essere diverso? Lo smartphone fa queste e tante altre cose meglio e più velocemente di noi e l'unico problema potrebbe presentarsi se all'improvviso perdessimo il cellulare o si scaricasse la batteria, ma obiettivamente succede di rado.
Col tempo però molti di noi hanno anche perso l'allenamento a svolgere questo tipo di compiti in cambio di una tale comodità. E va bene ovviamente, è stata una scelta ponderata o meno, non dico necessariamente il contrario, ma similmente demandare sempre più delle nostre responsabilità nelle mani di una o più IAA, come sembra che debba accadere nelle prossime decadi,
(27:30):
da un lato potrebbe certamente portare a grande prosperità all'intera civiltà o almeno ad alcuni, ma dall'altro non rischia di farci perdere tutta una serie di capacità o il controllo su alcuni aspetti della nostra realtà?
E infine dovremmo chiederci quanto del nostro futuro siamo disposti a far decidere da una o più intelligenze insondabili e i cui ragionamenti sono totalmente oltre le nostre capacità e la nostra comprensione?
(28:04):
Otman scrollò le spalle. Ecco lui è contento. Quando facciamo scoppiare il bubone? Disse Limi. Mettere Manners sotto osservazione ha aumentato le probabilità e metterlo agli arresti domiciliari le ha aumentate ancora.
(28:26):
Come se non lo sapessi, fece Otman irritato, ma non so il perché. Forse ci sono dei complici come diceva lei, adesso che Manners è nei guai gli altri devono fare il colpo subito o sono perduti.
Forse è vero il contrario, ora che ne abbiamo uno in mano gli altri dovrebbero disperdersi e scomparire per mettersi in salvo e poi perché Multivac non ha nominato i complici?
(28:54):
E allora lo diciamo a Gulliman? No, non ancora. La probabilità è ancora limitata al 17,3%. Cerchiamo di agire in modo un po' più drastico prima.
Nella maggior parte delle moderne IAA non è possibile conoscere esattamente le motivazioni precise che portano ad un determinato risultato. Per questa ragione vengono comunemente definite come delle black box.
(29:24):
Proprio come i tecnici di Multivac, in caso di risultati inaspettati gli utilizzatori possono solo procedere per tentativi, cercando di modificare le condizioni e i parametri in input per ottenere un output più vicino a quello desiderato.
Quelle poche IAA che sono state progettate per spiegare le proprie scelte risultano al momento molto meno performanti delle altre, riflettendoci questo al momento è forse uno dei più grandi limiti di questa tecnologia.
(29:59):
Elisabeth Manners disse al figlio minore. Vai nella tua stanza, Ben. Ma che cosa succede, mamma? Chiese Ben con la voce che si spezzava davanti allo strano finale di quella che era stata una giornata gloriosa. Per favore!
(30:20):
Ben si allontano riluttante, varcò la porta che dava sulle scale, salì i gradini rumorosamente e poi gli ridiscese in silenzio. E Mike Manners, il figlio maggiore, l'adulto nuovo di Zecca, la speranza della famiglia, disse con una voce e con un tono che rispecchiavano l'umore del fratello minore. Che cosa succede?
(30:43):
Il cielo mi è testimonio, figliolo, disse Joe Manners. Non lo so, non ho fatto niente. Certo che non hai fatto niente, Mike guardò perplesso quel padre dall'ossatura fragile e dalle maniere miti. Quelli devono essere qui perché tu stai pensando di fare qualcosa. Io non sto pensando di fare niente.
La signora Manners intervenne incollerita. Come può pensare di fare qualche cosa che giustifichi tutto, tutto questo? Con un gesto del braccio indicò il guscio serrato che gli uomini del governo componevano attorno alla casa.
(31:19):
Ricordo che quando ero bambina c'era il padre di una mia amica che lavorava in una banca. Una volta lo chiamarono e gli dissero di lasciare in pace i quattrini e lui lo fece. Si trattava di 50.000 dollari, non li aveva rubati però, stava soltanto pensando di rubarli. A quei tempi non mantenevano il segreto come adesso, la storia girò e per questo che lo seppi anch'io.
(31:45):
Ma voglio dire, continuò stropicciandosi lentamente le mani grassocce, che si trattava di 50.000 dollari, 50.000 dollari eppure si limitarono a chiamarlo una telefonata. Cosa può meditare tuo padre per giustificare la presenza di una dozzina di uomini che accerchiano la casa?
(32:07):
Joe Manners disse, con gli occhi colmi di sofferenza, non sto meditando nessun reato, neppure il più trascurabile, lo giuro. Mike, gonfio della consapevole saggezza del nuovo adulto, disse, forse è qualcosa di subconscio papà, qualche risentimento contro il tuo supervisore, fino al punto di desiderare di ucciderlo, no!
(32:31):
Non vogliono dirti di che cosa si tratta papà? Sua madre interruppe di nuovo. No, non vogliono, l'abbiamo chiesto, ho detto che stavano rovinando la nostra reputazione solo con la loro presenza, il meno che potevano fare era dirci di che cosa si tratta, in modo che potessimo fare qualcosa, che potessimo fornire spiegazioni.
(32:53):
E non hanno voluto, non hanno voluto. Mike rimase ritto, a gambe larghe, le mani sprofondate nelle tasche, disse turbato, ehi mamma, Multivac non commette errori. Suo padre batte il pugno sul bracciolo del divano in un gesto impotente, vi dico che non sto meditando nessun reato.
(33:14):
La porta si aprì, senza che nessuno avesse prima bussato, e un uomo in uniforme entrò con un passo secco e sicuro. Sul suo viso aveva un'espressione vitrea, ufficiale. Lei è Joseph Manners? Disse. Joe Manners si alzò. Sì, cosa vuole da me?
Joe Manners la dichiarò in arresto per ordine del governo. Mostrò sbrigativamente il suo documento di identità come ufficiale della correzione. Devo chiederle di seguirmi. Perché? Cosa ho fatto? Non sono autorizzato a parlarne.
(33:48):
Ma io non posso essere arrestato soltanto per aver progettato un reato, anche se lo avessi fatto veramente. Per venire arrestato io devo aver veramente commesso qualcosa, altrimenti non potete arrestarmi, è illegale.
L'ufficiale era inaccessibile alla logica. Lei deve venire con me. La signora Manners lanciò un grido e cadde sul divano, piangendo istericamente. Joseph Manners non riuscì a indursi a violare il codice instillato a chi per tutta la vita, ribellandosi a un ufficiale.
(34:19):
Ma perlomeno si tirò indietro, costringendo l'altro ad effettuare uno sforzo muscolare per trascinarlo avanti. E mentre si allontanava Manners gridava. Ma mi dica di che si tratta, me lo dica, se sapessi, è un omicidio, starei progettando un omicidio.
La porta si chiuse dietro di lui e Mike Manners, che era pallidissimo e che non si sentiva affatto adulto, guardò prima la porta, poi sua madre che piangeva. Ben Manners, che stava nascosto dietro l'uscio e che si sentiva improvvisamente molto adulto, strinse le labbra e pensò che lui sapeva esattamente che cosa doveva fare.
(35:01):
Se Multivac toglieva, Multivac poteva anche dare. Ben aveva assistito alle cerimonie quel giorno stesso. Aveva sentito quell'uomo, Randolph Hoch, parlare di Multivac e di tutto quello che Multivac poteva fare. Poteva dirigere il governo e poteva anche consigliare e aiutare un semplice cittadino che gli si rivolgeva.
(35:23):
Chiunque poteva chiedere aiuto a Multivac e chiunque significava Ben. Né sua madre né Mike erano in grado di fermarlo ormai e lui aveva ancora un bel po' del denaro che gli era stato dato per la grande uscita di quel giorno. Se più tardi si fossero accorti che se ne era andato e si fossero preoccupati per questo, non poteva farci niente.
(35:46):
In quel momento doveva pensare soprattutto a suo padre. Uscì dalla porta di servizio e l'agente di guardia gettò un'occhiata ai suoi documenti e lo lasciò passare.
Qui abbiamo due concetti interconnessi piuttosto interessanti. Il primo riguarda la classica risposta che tanti danno quando si parla dell'importanza della protezione dei dati, ma tanto io non ho niente da nascondere.
(36:17):
Come Asimov immaginava già più di 60 anni fa, il problema non riguarda tanto chi è colpevole o meno, ma cosa si può dedurre a torto ragione da un insieme parziale di dati. E poi abbiamo un secondo concetto attualissimo, la fiducia cieca nella tecnologia.
Il signor Manners non ha intenzioni malvagie, lo dice chiaramente, ma piuttosto che pensare ad un errore del sistema, persino i suoi figli e la moglie si chiedono se nasconda qualcosa, o se addirittura il suo sia un desiderio inconscio.
(36:56):
Non è concepibile che il sistema sbagli, quindi deve esserci per forza qualcosa che il poveretto non sta confessando, intenzionalmente o meno. È un atteggiamento che alcuni decisori, sia a livelli alti che bassi, hanno anche nella nostra società attuale. Se lo dice il sistema, allora è così.
(37:19):
Ne abbiamo avuto da poco un esempio agghiacciante, quello delle poste britanniche, con tutte le ripercussioni che ha avuto sulla vita delle persone coinvolte. Migliaia di direttori di uffici postali accusati e condannati per sottrazione in debita, quando in realtà, a distanza di anni, si è scoperto un bug nel software di gestione delle transazioni che faceva sparire somme di denaro qui e là.
(37:50):
Harold Quimby si occupava del dipartimento richieste della sottostazione di Multivac a Baltimora. Si considerava un membro del ramo più importante del servizio civile. Sotto un certo aspetto, forse aveva ragione e coloro che stavano ad ascoltarlo mentre discuteva quell'argomento avrebbero dovuto essere di ferro per non lasciarsi impressionare.
(38:16):
In primo luogo, diceva Quimby, Multivac era essenzialmente un intruso nell'intimità altrui. Negli ultimi 50 anni, l'umanità aveva dovuto ammettere che i suoi pensieri e i suoi impulsi non erano più segreti, e che non disponeva più di recessi intimi in cui potesse nascondere qualcosa, e l'umanità doveva avere qualcosa in cambio.
(38:42):
Naturalmente aveva ottenuto prosperità, pace e sicurezza, ma queste erano astrazioni. Ogni uomo e ogni donna avevano bisogno di qualcosa di personale come ricompensa dell'intimità a cui avevano rinunciato, e ognuno di loro l'otteneva in realtà.
A portata di ogni essere umano c'era una stazione Multivac, ai cui circuiti poteva liberamente affidare i propri problemi e le proprie domande senza controlli o ostacoli, e da cui si poteva ottenere risposta nel giro di pochi minuti.
(39:21):
In ogni momento 5 milioni di circuiti individuali nell'interno di Multivac, su un complesso di un trilione o più, erano occupati in questo programma di domande e risposte. Non sempre le risposte erano sicure, ma erano pur sempre le migliori che fosse possibile ottenere, e ogni interrogante sapeva che la risposta era la migliore possibile e si fidava.
(39:47):
E questo era ciò che contava. E adesso un sedicenne in ansia si muoveva lentamente lungo la fila di uomini e di donne in attesa. Ogni viso era illuminato da un miscuglio diverso di speranza e di paura, o di ansia e di angoscia, ma sempre era la speranza a predominare, via via che le persone si facevano più vicine a Multivac.
(40:13):
Senza alzare lo sguardo, Quimby prese il modulo compilato che gli veniva atteso, e disse, cabina 5B. Ben disse, come devo formulare la domanda signore? Allora Quimby alzò gli occhi, un po' sorpreso, di solito i preadulti non usufruivano di quel servizio. Disse gentilmente, non l'hai mai fatto figliolo? No signore.
(40:37):
Quimby indicò il modellino sulla sua scrivania. Usa questo, vedi come funziona? Come una macchina da scrivere. Non scrivere niente a mano, serviti della macchina. Vai nella cabina 5B e se hai bisogno di aiuto, premi il pulsante rosso e arriverà qualcuno. In quel corridoio figliolo, a destra.
Guardò il ragazzo percorrere il corridoio e sparire, poi sorrise. A nessuno veniva mai impedito l'accesso a Multivac. Naturalmente c'era sempre una certa percentuale di domande trascurabili, gente che faceva domande personali sui propri vicini, o domande oscene sul conto di personalità eminenti.
(41:18):
Studenti che cercavano di anticipare le domande dei professori, o che credevano di riuscire a battere Multivac chiedendo il paradosso di Russell, e così via. Multivac era in grado di sbrigarsela perfettamente, non aveva bisogno di aiuto.
Inoltre, ogni domanda e ogni risposta venivano archiviati e formavano un altro dato riguardante l'individuo che l'aveva rispettivamente formulata e ottenuta. Anche la domanda più trascurabile e meno pertinente, in quanto rifletteva la personalità dell'interrogante, aiutava l'umanità, aiutando Multivac a conoscere l'umanità.
(41:59):
Quindi, dedicò la sua attenzione alla persona che veniva dopo il ragazzo nella fila, una donna di mezza età, magra e angolosa, con un'espressione turbata negli occhi.
Quanti sarebbero disposti a condividere tutti i propri segreti e i propri pensieri con un'intelligenza artificiale, in cambio di pace, prosperità e soprattutto la possibilità di ottenere risposte alle proprie domande? Nessuno? Pochi? Tanti? Tutti?
(42:31):
Oggi noi già condividiamo i nostri più intimi segreti con il nostro computer o il nostro smartphone, con i servizi che utilizziamo per tenerci in contatto o per svolgere parte del nostro lavoro. Fotografie, messaggi, preferenze di ogni genere, tutto è archiviato e passa attraverso chissà quanti e quali sistemi.
(42:53):
E in cambio otteniamo moltissimi vantaggi, certamente accesso alle informazioni, interazioni, sicurezza di non perdere o dimenticare fatti o avvenimenti o dati importanti per noi. Ma facendo un parallelismo, cosa c'è di così diverso da quello che ci sta raccontando Asimov? Segreti in cambio di prosperità, informazioni in cambio di vantaggi pratici.
(43:18):
Anche il fatto che ad ogni domanda ricevuta Multivac raccolga dati sull'interrogante è perfettamente in linea con i comportamenti odierni. Non dovrei sorprenderti se ti dico che, tanto per fare un esempio, ChatGPT raccoglie ed elabora i tuoi prompt o i feedback che lasci quando lo utilizzi, e non è certamente l'unico software che lo fa.
(43:42):
E se stai pensando che tanto tu non clicchi mai sul pollice in suo in giù per rilasciare il feedback, beh sappi che il solo fatto di copiare la risposta vale già come feedback ed è molto più semplice di quanto credi da catturare.
Alì Hottman camminava avanti e indietro nel suo ufficio e i suoi tacchi battivano disperatamente sul tappeto. La probabilità continua a salire, adesso è il 22,4%, dannazione. Abbiamo arrestato Joseph Manners e la probabilità continua a salire. Stava sudando abbondantemente.
(44:25):
Lemmy si scostò dal telefono. Nessuna confessione fino ad ora, lo stanno sottoponendo al sondaggio psichico e non c'è traccia di reato, forse dice la verità.
Allora molti va che è impazzito, disse Hottman. Un altro telefono si fece sentire. Hottman innestò il contatto, lieto di quella interruzione. Sullo schermo apparve la faccia di un ufficiale della correzione.
(44:49):
Signore, disse l'ufficiale, ci sono nuove istruzioni circa la famiglia Manners? Devono essere ancora autorizzati ad andare e venire, come è stato finora?
Che cosa intende con quel come è stato finora? Le prime istruzioni erano di tenere Joseph Manners agli arresti domiciliari, non si era detto nulla del resto della famiglia, signore.
(45:11):
Bene, estenda l'arresto domiciliare agli altri fino a nuovo ordine.
Questo è il punto, signore. La madre e il figlio maggiore stanno chiedendo informazioni sul figlio minore. Il figlio minore se n'è andato. Loro sostengono che è stato fermato e vogliono andare al quartier generale per sapere qualcosa.
Ottman si accigliò e chiese quasi in un bisbiglio, il figlio minore quanti anni ha? Sedici, signore, disse l'ufficiale. Sedici anni e se n'è andato, lei non sa dove sia andato? Era autorizzato ad andarsene, signore, non avevamo ordine di trattenerlo.
(45:52):
Rimanca in linea, non si muova. Ottman sospese la comunicazione, poi si cacciò le mani nei capelli color carbone e urlò, stupido, stupido, stupido. Limmy era sbalordito. Che cosa diavolo?
Quell'uomo ha un figlio di sedici anni, rantolò Ottman. Un ragazzo di sedici anni non è un adulto e non è schedato con una posizione indipendente nell'archivio di Multivac, ma fa parte della registrazione di suo padre, fissò sull'Immy un'occhiata di fuoco. Non lo sanno tutti che fino a diciotto anni un ragazzo non inoltre ha i suoi rapporti a Multivac, ma è suo padre a farlo. Non lo sapevo forse, non lo sapeva anche lei.
(46:37):
Vuol dire che Multivac non alludeva a Joe Manners, disse Limmy. Multivac alludeva al suo figlio più giovane e adesso il ragazzo è scomparso. Con la casa circondata a triplo strato, lui esce tranquillamente e se ne va a fare chissà che cosa.
Si girò di scatto verso il circuito telefonico su cui stava ancora aspettando l'ufficiale della correzione. Quell'intervallo di un minuto aveva dato a Ottman il tempo di riprendersi e di assumere un atteggiamento freddo e controllato. Non avrebbe mai potuto permettersi una crisi davanti agli occhi dell'ufficiale, anche se questo gli avrebbe calmato i nervi.
(47:15):
Senta, disse. Ritrovi il ragazzo scomparso. Se è necessario impieghi tutti gli uomini disponibili nel suo distretto. Io darò ordini in proposito. Lei deve trovare quel ragazzo a tutti i costi.
Sì, signore. La comunicazione si interruppe. Ottman disse. Controlli ancora le probabilità, limmi. Cinque minuti dopo, limmi disse. Sono scese al 19,6%. Sono scese. Ottman trasse un lungo respiro. Finalmente, siamo sulla traccia buona.
(47:47):
Il motivo per cui i tecnici di Multivac non sono stati in grado di comprendere il problema fino ad ora non dipende da un bug della macchina. Il motivo è un errore tremendamente umano, un errore nel modo in cui l'umanità ha deciso di utilizzare ed interpretare lo strumento.
(48:11):
Frutto di una sacrosanta tensione tra la necessità di dare in passo alla macchina più dati possibili e quella di mantenere i più giovani sotto la tutela dei propri genitori, i minorenni sono archiviati all'interno di Multivac sotto le schede dei rispettivi genitori e questo è più che giusto.
(48:33):
Ma una tale decisione rappresenta già di per sé un dato importante che i tecnici hanno dimenticato di considerare nei loro ragionamenti e tentativi di interpretazione. Quanti tra coloro che oggi stanno correndo ad integrare intelligenze artificiali nei propri software e prodotti stanno dimenticando qualche aspetto importante nelle proprie considerazioni?
(48:58):
Si tratta di sistemi estremamente complessi con cui è facilissimo sbagliare nel rapportarsi e nei confronti dei quali è facilissimo essere tentati di fare assunzioni più o meno infondate.
Ben Manners
(49:40):
Ma non sappiamo quale reato stia progettando, c'è qualche modo di aiutarlo?
(50:10):
La macchina atticchettò e ne uscì una scheda. C'era sopra una risposta molto lunga. Cominciava
Prendi l'espresso per Washington DC immediatamente. Scendi alla fermata di Connecticut Avenue. Troverai un ingresso con la scritta Multivac sorvegliato da una sentinella. Informa la sentinella che sei un corriere speciale del dottor Trumbull e ti lascerà passare.
(50:47):
Ti troverai in un corridoio. Percorrilo fino a che arriverai a una porticina con la scritta interno. Entra e di agli uomini che vi troverai messaggio per il dottor Trumbull. Ti lasceranno passare. Prosegui.
E continuava così. Ben non capiva in che modo rispondesse alla sua domanda, ma aveva una fede assoluta in Multivac. Se ne andò correndo e si diresse verso l'espressovia per Washington.
(51:20):
Nonostante Multivac sia la causa del suo problema, la fiducia di Ben in esso è così grande da spingerlo ad andare e a chiedere una soluzione. È un'idea potente, cercare rifugio nell'origine delle proprie tribolazioni.
(51:41):
Ben non sa come funziona Multivac, ha solo delle vaghe idee su informazioni che viaggiano all'interno di circuiti, ma nonostante questo se ne fida ciecamente e nonostante non capisca la risposta ricevuta è intimamente convinto che sia la migliore possibile per lui.
Questa fede cieca è frutto della sua educazione, un indottrinamento più che normale in un mondo nel quale la dipendenza da una macchina è diventata una realtà da generazioni.
(52:13):
Ed ecco che torna il concetto della fiducia nelle macchine, è un leitmotiv di questo e di tanti altri racconti di Asimov, così come è un leitmotiv della nostra attuale epoca.
Meno si comprende un sistema complesso e più si tende a dare per scontato che esso sia nel giusto quando restituisce un giudizio o un'informazione.
(52:38):
Con la diffusione delle IAA questo scostamento tra comprensione e fiducia non può che peggiorare se non si fa in modo che le persone capiscano appieno questa nuova tecnologia.
Ad oggi le intelligenze generative elargiscono output con la sicurezza di massimi esperti in molti campi anche nei casi in cui soffrono delle cosiddette allucinazioni, cioè quando formulano risposte totalmente errate o inconcludenti.
(53:08):
Gli ufficiali della correzione scoprirono il passaggio di Ben Manners dalla stazione di Baltimora un'ora dopo la sua partenza. Harold Quimby si sentì sconvolto e allarmato dal numero e dall'importanza dei personaggi che avevano puntato lo sguardo su di lui nella ricerca di quel ragazzo di 16 anni.
(53:34):
Sì, un ragazzo, disse. Ma non so dove è andato dopo aver finito qui. Non potevo immaginare che qualcuno lo cercasse. Noi accettiamo tutti quelli che si presentano. Sì, posso procurarmi una copia della domanda e della risposta.
Guardarono le copie e le trasmisero immediatamente al quartier generale centrale.
(53:56):
Othman la lesse, levò gli occhi al cielo e crollò. Lo fecero rinvenire quasi immediatamente. Disse a Limmy con voce debole. Devono prendere quel ragazzo e mi faccia una copia della risposta di Multivac. Non c'è più via di uscita. Devo parlare con Galliman subito.
Come spiegato dal responsabile delle cerimonie, le informazioni condivise saranno utilizzate solo da Multivac per le sue elaborazioni, a meno che non sia necessario condividerle con i funzionari preposti. E chi decide se ciò è necessario? Ovviamente i funzionari stessi.
(54:40):
Un po' come accade oggi, no? I dati condivisi sono i nostri e sono al sicuro, tranne in casi particolari, cioè quando servono per interessi superiori, che in effetti vuol dire tutto e niente. Ad oggi esistono stime che affermano che i dati di ciascuno di noi potrebbero aver raggiunto un valore di ben 600 dollari solo nel corso del 2023.
(55:11):
Bernard Galliman non aveva mai visto Ali Hothman così sconvolto. Quando scorse gli occhi stralunati del coordinatore si sentì scorrere lungo la spina dorsale un ripolo d'acqua gelida.
Che cosa intende dire Hothman? Balbetò. Che cosa è peggio dell'omicidio per lei? Qualcosa di molto peggio di un semplice omicidio. Galliman era pallidissimo. Vuole dire l'assassinio di un alto funzionario del governo? Gli passò per la mente che forse lui stesso... Hothman a noi. Non un funzionario del governo, il funzionario del governo.
(55:54):
Il segretario generale, disse Galliman con un sussurro atterrito. Ancora di più, molto di più. Ci troviamo di fronte a un piano per assassinare Multivac. Cosa? Per la prima volta nella storia di Multivac il calcolatore ha informato che lui stesso era in pericolo.
(56:17):
Perché non sono stato informato immediatamente? Hothman rispose con una mezza verità. Si trattava di una situazione senza precedenti, signore, quindi l'abbiamo studiata prima di osare di farne oggetto di un rapporto ufficiale. Ma Multivac è salvo, vero? È salvo. Le probabilità di danno sono scese al di sotto del 4% e adesso sto aspettando il rapporto.
(56:48):
Come abbiamo letto all'inizio del racconto, anche se Multivac è teoricamente al servizio dell'umanità tutta, è comunque controllato da qualcuno, un governo, e più nello specifico un ente con degli interessi e degli scopi, il quale a sua volta è guidato da un presidente eletto anch'egli con i propri scopi e interessi.
(57:13):
In parole povere, il calcolatore non opera nel vuoto, ma tutte le sue attività sono immerse e filtrate dagli interessi personali e politici tipici degli umani e delle società da essi formate.
E così diventa importante per un personaggio come il presidente Galliman che i migliori risultati di sempre siano ottenuti durante il proprio mandato, al punto da decidere se intervenire o meno su certe questioni, se forzare un po' la mano per il proprio tornaconto e se divulgare o meno certe informazioni.
(57:52):
Allo stesso modo, il pericolo di essere l'uomo associato alla più grande catastrofe immaginabile spinge Galliman a prendersela con i suoi sottoposti, anche se obiettivamente interagire con un'entità che può reagire in modi inconsueti non è affatto semplice.
(58:13):
Sfido chiunque a negare che la nostra società sia estranea a comportamenti del genere nell'impiego di una qualsiasi delle moderne intelligenze artificiali o, più in generale, di una qualsiasi delle tecnologie parimenti dirompenti.
Messaggio per il dottor Trumbull, disse Ben Manners all'uomo che stava seduto su un alto sgabello e lavorava attentamente su quelli che sembravano i comandi di uno stratojet enormemente ingranditi.
(58:47):
«Certo, Jim», disse l'uomo. «Vai pure». Ben guardò le istruzioni e proseguì in fretta. Alla fine avrebbe trovato una piccola leva che lui doveva spostare sul giù, in un determinato momento in cui un certo indicatore avrebbe mostrato una luce rossa.
Udì una voce agitata dietro di lui, poi un'altra, e all'improvviso due uomini lo presero per i gomiti. Si sentì sollevare dal pavimento. Uno degli uomini disse «Vieni con noi, ragazzo».
(59:19):
Il viso di Ali Hothman non si schiarì notevolmente. Nell'udire la notizia, anche Galliman aveva detto con grande sollievo «Se abbiamo preso il ragazzo, allora Multivac è salvo». Per il momento, Galliman si portò alla fronte una mano tremante.
(59:41):
«Ho passato una mezz'ora terribile. Riesce a immaginare cosa significherebbe la distruzione di Multivac, anche per un breve periodo. Il governo sarebbe crollato, l'economia sarebbe andata a pezzi, sarebbe stato un disastro peggiore». Levò la testa di scatto.
Perché ha detto «per il momento»? Quel ragazzo, Ben Manners, non aveva intenzione di fare del male. Lui e i suoi familiari devono essere rilasciati e indennizzati per l'ingiusto arresto. Lui stava seguendo soltanto le istruzioni di Multivac per aiutare suo padre.
(01:00:16):
E in un certo senso ha ottenuto quello che voleva, adesso suo padre è libero. Vuole dire che è stato Multivac a ordinare al ragazzo di tirare una leva in circostanze tali da bruciare abbastanza circuiti per rendere necessario un lavoro di riparazione di almeno un mese. Vuole dire che Multivac avrebbe suggerito la propria distruzione per il bene di un solo individuo.
(01:00:39):
È molto peggio, signore. Non solo Multivac ha impartito queste istruzioni, ma tanto per cominciare ha scelto la famiglia Manners perché Ben Manners somiglia perfettamente ad uno dei fattorini del dottor Trumbull e poteva avvicinarsi a Multivac senza che nessuno lo fermasse. Intende dire che quella famiglia è stata scelta apposta?
(01:01:02):
Beh, il ragazzo non sarebbe mai andato a formulare quella domanda se suo padre non fosse stato arrestato. Suo padre non sarebbe mai stato arrestato se Multivac non l'avesse accusato di progettare la distruzione dello stesso Multivac. È stata l'azione di Multivac a dare l'avvio alla catena di eventi che per poco non ha condotto alla sua distruzione.
(01:01:27):
Ma non ha senso, disse Galliman con voce implorante. Si sentiva piccolo e impotente, era virtualmente in ginocchio e supplicava a Hothman, l'uomo che aveva trascorso con Multivac quasi tutta la sua vita, di rassicurarlo. Ma Hothman non lo rassicurò.
Questo è il primo tentativo di Multivac, per quel che ne so, disse. Sotto molti aspetti era ben congegnato, ha scelto la famiglia adatta, ha badato bene a non fare distinzione tra padre e figlio per mandarci fuori strada, ma era ancora un dilettante in questo gioco.
(01:02:05):
Non poteva soverchiare la sua programmazione, che lo costringeva a riferire l'aumento delle probabilità della sua distruzione ogni volta che noi ci muovevamo in direzione sbagliata. Non ha potuto evitare di registrare la risposta che ha dato al ragazzo. Con un po' di pratica probabilmente imparerà a barare, imparerà a nascondere certi fatti e non registrarne altri.
(01:02:32):
D'ora innanzi ogni istruzione che impartirà potrà contenere i semi della sua stessa distruzione. Non lo sapremo mai. E per quanto siamo prudenti, alla fine Multivac la spunterà.
Credo, signor Galliman, che lei sarà l'ultimo presidente di questa organizzazione. Galliman battì furiosamente i pugni sulla scrivania. Ma perché, perché, perché, maledizione, perché? Che cosa c'è che non va in quella macchina? Non possiamo ripararla!
(01:03:03):
Non credo, disse Hotman con sommessa disperazione. Non ci avevo mai pensato, non ne ho mai avuto occasione fino a che non è accaduto questo. Ma ora che ci penso, mi pare che siamo arrivati alla fine proprio perché Multivac è troppo efficiente.
Multivac è diventato così complicato che le sue azioni non sono più quelle di una macchina, ma quelle di un essere vivente. Lei è pazzo, ma anche se fosse così?
(01:03:33):
Per cinquant'anni e più abbiamo caricato tutti i guai dell'umanità addosso a Multivac, addosso a quest'essere vivente. Gli abbiamo chiesto di prendersi cura di tutti noi, complessivamente e individualmente.
Gli abbiamo chiesto di accogliere in sé tutti i nostri segreti, gli abbiamo chiesto di assorbire i nostri mali e di difendercene. Ognuno di noi gli porta i propri guai e aggiunge la sua parte a quel fardello. Adesso stiamo pensando di caricare su Multivac anche il fardello delle malattie umane.
(01:04:09):
Ottman si interruppe per un attimo, poi sbottò. Signor Galliman, Multivac porta sulle sue spalle tutti i guai del mondo ed è stanco. Una pazzia, un colpo di sole, brontolò Galliman. E allora mi permetta di mostrarle una cosa. Lasci che faccia la prova. Mi autorizza a servirmi del circuito Multivac del suo ufficio? Perché? Per rivolgere a Multivac una domanda che nessuno gli ha mai rivolto.
(01:04:39):
E lo danneggerà? chiese Galliman allarmato. No, ma ci dirà ciò che vogliamo sapere. Il presidente esitò un attimo poi disse, faccia pure. Ottman usò l'apparecchio sulla scrivania di Galliman. Le sue dita batterono la domanda con abili tocchi. Multivac, che cosa desideri di più di qualsiasi altra cosa? L'attimo tra la domanda e la risposta si protrasse in modo insopportabile ma né Ottman né Galliman respirarono.
(01:05:08):
Poi si udì un ticchettio e uscì una scheda. Era una scheda molto piccola e portava la risposta in caratteri nitidi. Voglio morire.
I circuiti positronici, che Asimov menziona spesso come componenti essenziali sia dei cervelli dei suoi robot che di Multivac, hanno la singolare capacità di apprendere i comportamenti degli esseri umani non solo in campo scientifico e di manipolazione dei dati ma anche in campo emotivo.
(01:05:43):
E' per questo motivo che il calcolatore in questo racconto e i robot in tanti altri racconti sono in grado di provare tristezza o gioia, di offendersi, di attuare vendette, di adorare idoli e molto altro. Per le possibilità attuali delle nostre IA un simile tipo di comportamento è molto facile da escludere.
(01:06:05):
Tuttavia oggi come oggi c'è un altro aspetto dell'intelligenza artificiale che la porta a dare talvolta risultati inaspettati, le cosiddette allucinazioni.
Per allucinazioni si intendono le risposte errate o fuori contesto o totalmente incomprensibili che a volte vengono restituite da una IA. A tali comportamenti al momento non si riesce a dare alcuna spiegazione convincente, si parla di bias dei dati, di errori del modello, di correlazioni statistiche insolite o altre possibili motivazioni.
(01:06:41):
Tuttavia non essendo realmente possibile identificare con precisione le cause non è nemmeno possibile escludere che i modelli di machine learning siano affetti da comportamenti anomali o del tutto inaspettati.
Infine c'è un ultimo concetto in questo racconto che mi sta particolarmente a cuore. Ben Manners nel tentativo di salvare suo padre non ha fatto altro che seguire le istruzioni di Multivac e così facendo ha rischiato di causare un disastro enorme.
(01:07:14):
Multivac dal canto suo gli ha dato delle determinate direttive e ha omesso tutta una serie di informazioni e dettagli che in qualche modo avrebbero potuto insospettire o far desistere il ragazzo dal portare a termine il piano.
Un comportamento molto simile noi lo possiamo facilmente individuare nei moderni algoritmi ai quali facciamo appello ogni giorno. Social network, motori di ricerca e da qualche mese anche software equipaggiati con intelligenza artificiale ci mostrano determinate informazioni e per forza di cose ne omettono altre.
(01:07:51):
I post che ritengono più interessanti per noi, i risultati che valutano più inerenti alle nostre ricerche, i testi che generano nel tentativo di rispondere alle nostre domande. È un meccanismo che ormai dovremmo conoscere e dovremmo ben sapere che da un lato tende a creare delle bolle di utenti che condividono idee e convinzioni e dall'altro fomenta la discordia tra tali gruppi.
(01:08:18):
Gestire i rischi derivanti da un'intelligenza artificiale sempre più pervasiva è un obiettivo da perseguire importante quanto lo sviluppo stesso della tecnologia in questione. Per come la vedo io l'Europa che in questo campo è all'avanguardia sta e deve sempre di più fare da apripista per porre attenzione sui rischi potenziali dell'intelligenza artificiale.
(01:08:43):
L'IA deve essere una tecnologia alla portata di tutti. Non si può pensare di lasciarne lo sviluppo o l'applicazione nelle mani di un unico soggetto, che si tratti di ricercatori, di aziende, di governi o chi che sia.
Quando ho letto questo racconto per la prima volta l'ho trovato sorprendentemente attuale nonostante risalga alla fine degli anni cinquanta. Spero con questo episodio di essere riuscito a trasmetterti almeno un po' delle idee che mi ha fatto venire in mente e spero inoltre che questo formato ti sia piaciuto e ti invito a farmelo sapere scrivendo una recensione o un messaggio nel gruppo.
(01:09:27):
Telegram o se preferisci direttamente una mail trovi tutte le informazioni sul sito pensieriincodice.it. In descrizione trovi tutti i link alle fonti se vuoi approfondire quanto ti ho detto e se riesco metto anche il link sponsorizzato amazon al libro contenente il racconto che ti ho letto ma potrebbe essere complicato perché è molto vecchio.
(01:09:51):
Mi raccomando fai girare questo e gli altri episodi è un modo semplice e concreto per far crescere e migliorare questo progetto il tuo sostegno è fondamentale.
Intanto ringrazio i soliti edoardo e carlo per la loro donazione mensile e a proposito di edoardo ho scoperto da poco che è autore di un podcast chiamato birradio molto divertente e del quale sorpresa sorpresa sono stato ospite qualche settimana fa abbiamo chiacchierato di altra sorpresa intelligenza artificiale e ti invito a recuperarlo in descrizione trovi il link.
(01:10:29):
Non aggiungo altro dato che l'episodio è già avvenuto abbastanza lungo così quindi ti saluto ti do appuntamento alla prossima e ti ricordo che un informatico risolve problemi a volte anche usando il computer.
Popular Podcasts
On Purpose with Jay Shetty
I’m Jay Shetty host of On Purpose the worlds #1 Mental Health podcast and I’m so grateful you found us. I started this podcast 5 years ago to invite you into conversations and workshops that are designed to help make you happier, healthier and more healed. I believe that when you (yes you) feel seen, heard and understood you’re able to deal with relationship struggles, work challenges and life’s ups and downs with more ease and grace. I interview experts, celebrities, thought leaders and athletes so that we can grow our mindset, build better habits and uncover a side of them we’ve never seen before. New episodes every Monday and Friday. Your support means the world to me and I don’t take it for granted — click the follow button and leave a review to help us spread the love with On Purpose. I can’t wait for you to listen to your first or 500th episode!
Dateline NBC
Current and classic episodes, featuring compelling true-crime mysteries, powerful documentaries and in-depth investigations. Special Summer Offer: Exclusively on Apple Podcasts, try our Dateline Premium subscription completely free for one month! With Dateline Premium, you get every episode ad-free plus exclusive bonus content.
24/7 News: The Latest
The latest news in 4 minutes updated every hour, every day.