Charles Stross è uno scrittore di fantascienza contemporaneo e molto apprezzato, specialmente per la sua capacità di creare della hard science fiction moderna capace di affrontare con lucidità la complessità della società attuale e le diramazioni future che essa potrà prendere. Sul suo blog scrive molto spesso di politica e cerca di analizzare come si evolveranno le attuali situazioni geopolitiche e tecnologiche. Questo testo è la traduzione della trascrizione del suo intervento al trentaquattresimo congresso organizzato dallo storico gruppo hacker tedesco, Chaos Computer Club, tenutosi a Liepzig nel dicembre 2017.
È possibile vedere l'intervento anche su YouTube, ma dura circa 45 minuti.
Riassunto: Stiamo vivendo nel futuro di ieri e non somiglia affatto alle speculazioni dei nostri autori e produttori di film e TV. In quanto autore di romanzi fantascientifici, ho un interesse personale sul come ed il perché sbagliamo le previsioni sul nostro futuro, così da poter evitare di fare gli stessi errori. La fantascienza viene scritta da persone inserite in una società con aspettative e presupposti politici che c'influenzano quando osserviamo la superficie luccicante delle nuove tecnologie, piuttosto che chiederci come gli esseri umani le useranno, ed a prendere superficialmente le narrazioni sul progresso, piuttosto che chiederci a quali scopi nascosti esse servano.
In questo colloquio, l'autore Charles Stross farà un'escursione discorsiva e rabbiosa su ciò che è andato storto nel ventunesimo secolo, sul perché non l'abbiamo previsto, su cosa dovremmo aspettarci poi, ed alcuni suggerimenti sul cosa fare se non ci piacerà.
Buon giorno. Sono Charles Stross, ed il mio lavoro è di raccontare balle per denaro. O piuttosto, scrivo fantascienza, molta della quale riguardo al nostro futuro prossimo, che negli ultimi anni è diventato ridicolamente difficile da predire.
La nostra specie, l'Homo Sapiens Sapiens, è vecchia di grossomodo trecentomila anni. (Ritrovamenti recenti hanno spinto indietro la data dei nostri più antichi resti, ma potremmo essere ancora più vecchi.) Per tutti i secoli eccetto gli ultimi tre, prevedere il futuro era facile: escludendo i disastri naturali, la vita quotidiana tra cinquant'anni somiglierà alla vita quotidiana dei cinquant'anni prima.
Lasciamo sedimentare l'idea per un momento: per il 99.9% dell'esistenza umana, il futuro era statico. Poi, accadde qualcosa, ed il futuro iniziò a cambiare, sempre più rapidamente, fino ad arrivare ad oggi in cui le cose si muovono così velocemente che è a malapena possibile anticipare le tendenze mese per mese.
Come affermò una volta un eminente scienziato informatico, ormai l'informatica non riguarda i computer più di quanto l'astronomia riguardi il costruire telescopi. Lo stesso si può dire nel mio campo di lavoro, la fantascienza scritta. La fantascienza riguarda raramente la scienza - ed ancora più raramente il prevedere il futuro. Anche se talvolta sguazza nel futurismo, nonostante ultimamente sia diventato molto difficile.
Come prevedere il futuro prossimo.
Quando scrivo della narrativa sul futuro prossimo, ambientata diciamo, un decennio da ora, c'è sempre stata una ricetta che funzionava stranamente bene. In poche parole, il 90% delle cose del prossimo decennio sono qua già oggi. Gli edifici sono progettati per durare diversi anni. Le automobili sono progettate con una vita di circa dieci anni, quindi circa la metà delle auto in strada, lo saranno probabilmente anche nel 2027. Persone ... ci saranno nuove facce, ragazzi di dieci anni o meno, e qualche persona più vecchia sarà morta, ma la maggior parte degli adulti saranno ancora in giro, anche se più grigi e vecchi. Questo è il 90% del futuro che è già qua.
Dopo il 90% già-qua, un altro 9% di futuro della prossima decade era solitamente facile da prevedere. Osservi le tendenze dettate da limiti fisici, come la Legge di Moore, e guardi la roadmap di Intel usando un po' di estrapolazione creativa e non ci andrai tanto lontano. Se prevedessi che nel 2027 i cellulari LTE saranno ovunque, che il 5G sarà disponibile per le applicazioni che necessitano di grande banda ed il ripiego su servizi di trasmissione dati satellitari sarà disponibile a pagamento, non ridereste di me. Non sarebbe come se prevedessi che le linee aeree saranno più lente e che i Nazisti conquisteranno gli Stati Uniti, no?
Ed è qua che si annida il problema: è quel 1% di sconosciuto a far sballare tutti i calcoli. Così accade che le linee aeree sono più lente di quanto erano negli anni '70, e non fatemi nemmeno iniziare a parlare dei Nazisti. Nessuno, nel 2007, si sarebbe aspettato un rigurgito nazi nel 2017, giusto? (Con la differenza che questa volta i tedeschi sembrano essere i buoni.)
La mia ricetta per la narrativa ambientata dieci anni nel futuro era solitamente 90% di già qua, 9% di non ancora qua ma prevedibile, ed 1% di "chi ha ordinato questo?". Ma sfortunatamente le proporzioni sono cambiate. Penso che ora siano scese forse ad 80% di già qua - i cambiamenti climatici hanno un gran costo sull'infrastruttura - quindi 15% di non qua ma prevedibile, ed uno stupefacente 5% di profonda pazzia completamente imprevedibile.
Escludendo la singolarità
Qualcuno di voi potrebbe dare per scontato che, essendo l'autore di libri come "Singularity Sky" e "Accelerando", io attribuisca questo ad un'imminente singolarità tecnologica, allo sviluppo di intelligenze artificiali auto-miglioranti, al mind-uploading ed all'intera lista dei desideri delle aspirazioni transumaniste promossa da persone come Ray Kurzweil. Sfortunatamente, non è questo il caso. Penso che il transumanesimo sia una eresia Cristiana riscaldata. Anche se i suoi aderenti tendono ad essere veementi atei, non riescono a sfuggire alla storia che ha dato origine alla nostra attuale civiltà occidentale. Molti di voi hanno familiarità con gli schemi progettuali, un approccio alla progettazione software focalizzato all'astrazione ed alla semplificazione per promuovere l'uso di codice riutilizzabile. Quando osserviamo da un punto di vista narrativo la singolarità dell'IA, ed troviamo i diversi momenti storici nei quali la frase "...ed accadde un miracolo" appare, diventa chiaro abbastanza presto che hanno reinventato la Cristianità.
Infatti, il sorgere dell'odierno transumanesimo si basa sulla lunga e ricca storia della filosofia dei Cosmisti Russi esemplificata dal teologo russo ortodosso Nikolai Fyodorvitch Federov, per mezzo del suo discepolo Kostantin Tsilokovsky, le cui derivazioni della sua equazione missilistica lo rendono, essenzialmente, il padre dei moderni voli spaziali. Ed una volta che inizi a scavare negli abissi del pensiero transumanista e t'imbatti in concetti come il Basilisco di Roko - e comunque, chiunque di voi non conoscesse prima d'ora il Basilisco, è destinato all'inferno delle IA per l'eternità - ti rendi conto che l'hanno maciullato per poterlo affiancare ad alcune delle idee più sgradevoli del Protestantesimo Presbiteriano.
Se cammina come un papero e starnazza come un papero, allora è probabilmente un papero. E se sembra una religione è probabilmente una religione. Non vedo alcuna evidenza per cui delle intelligenze artificiali autonome e simil-umane possano arrivare a breve, e poche prove che qualcuno, a parte qualche freak nei dipartimenti di scienze cognitive delle università, le voglia realmente. Ciò che stiamo avendo, invece, sono strumenti auto-ottimizzanti che sfidano l'umana comprensione, ma non sono, nei fatti, tanto più simili alla nostra intelligenza di quanto un Boeing 737 sia un gabbiano. Quindi, senza troppi problemi, me ne laverò le mani della singolarità come modello esplicativo - ed anch'io sono uno di quei veementi atei - e cercherò di portare un modello che spieghi un po' meglio cosa ci sta accadendo.
Verso un miglior modello del futuro
Come il mio socio autore di fantascienza Ken MacLeod ama dire, l'arma segreta della fantascienza è la storia. La storia è, in senso lato, la registrazione scritta di cosa le persone facevano in tempi passati, e come - tempi che sono scivolati via dalle memorie personali. Tutte le volte che vogliamo raccontare qualcosa, noi scrittori di fantascienza tendiamo a trattare la storia umana come un grande baule pieno di giochi da saccheggiare. Con un po' di storia è molto facile mettere in piedi racconto divertente su un impero galattico che rispecchi lo sviluppo ed il declino dell'Impero Asburgico, oppure che ricicli la Rivoluzione di Ottobre sotto forma di racconto su come Marte ha ottenuto la sua indipendenza.
Ma la storia è utile per molte altre cose.
S'è scoperto che i nostri ricordi non coprono affatto un tempo molto lungo. Ho 53 anni e mi ricordo a malapena gli anni '60. Mi ricordo solamente degli anni '70 con gli occhi di un ragazzo di 6-16 anni. Mio padre, che morì l'anno scorso a 93 anni, ricordava appena gli anni '30. Solo quelli della generazione di mio padre possono ricordare direttamente la grande depressione e confrontarla con la crisi finanziaria del 2007/2008. Ma gli occidentali tendono a prestare poca attenzione agli ammonimenti dei novantenni. Noi umani moderni ossessionati dai cambiamenti tendiamo a ripetere i nostri più gradi errori sociali nel momento in cui sfuggono dalla memoria, il che significa che tendono a ripetersi su una scala temporale di settanta - cento anni.
Quindi, se i nostri ricordi personali sono inutili, è il momento di cercare uno strumento cognitivo migliore.
La storia ci da una prospettiva per poter vedere cosa andò storto nel passato, cercare degli schemi ricorrenti, e controllare se questi schemi si applicano al presente ed al futuro prossimo. Ed osservando in particolare la storia dei passati 200 - 400 anni - l'era dei cambiamenti sempre più rapidi - un'abbagliante ed ovvia deviazione dalla norma dei precedenti tremila secoli - è lo sviluppo dell'Intelligenza Artificiale, che accadde non prima del 1553 e non più tardi del 1844.
Sto parlando delle molto vecchie, molto lente IA che chiamiamo corporazioni, ovviamente. Che lezione possiamo trarre dalla storia delle aziende che ci dica qualcosa riguardo al simile comportamento del tipo di intelligenza artificiale di cui oggi ci stiamo interessando tutti?
Vecchie, lente IA
Lasciate che rubi dalla Wikipedia per un momento:
Nel tardo diciottesimo secolo, Stewart Kyd, l'autore del primo trattato sulle leggi sulle corporazioni in Inghilterra, definì una corporazione come:
una collezione di diversi individui uniti in un solo corpo, sotto una speciale denominazione, aventi una perpetua successione sotto forma artificiale, ed investita dal sistema legale, della capacità di agire, sotto diversi aspetti, come un individuo, in particolare riguardo all'ottenere ed al cedere proprietà, al contrarre obbligazioni, ed il denunciare e l'essere denunciata, del godere di privilegi ed immunità in comune, e dell'esercitare una gamma di diritti politici, più o meno estesi, in base al progetto intorno cui è istituita, od i poteri conferiti ad essa, sia nel momento della sua creazione, che in qualsiasi susseguente periodo della sua esistenza.
Un trattato sulla Legge delle Corporazioni, Stewart Kyd (1793-1794)
Nel 1844 il governo britannico passò il Joint Stock Companies Act, che creò un registro di aziende e permise a qualsiasi persona legale, previo compenso, di registrare un'azienda, la quale esisterà in qualità di separata persona legale. Conseguentemente, la legge fu estesa per limitare la responsabilità degli azionisti in caso di bancarotta, e sia la Germania che gli Stati Uniti aggiunsero le loro proprie uniche estensioni a ciò che oggigiorno conosciamo come la dottrina della personalità aziendale.
(Di certo sono accadute moltissime altre cose tra il sedicesimo ed il ventunesimo secolo che hanno cambiato l'aspetto del mondo in cui viviamo. Ho saltato i cambiamenti nella produzione agricola dovuti alle economie energetiche, che hanno finalmente scardinato la trappola malthusiana in cui i nostri predecessori vivevano. Come conseguenza, questo fece saltare il limite che da lungo tempo bloccava la crescita economica a circa 0,1% all'anno in assenza di carestie, piaghe e guerre che spopolassero i territori per far spazio agli invasori coloniali. Ho saltato la teoria dei germi delle malattie, e lo sviluppo degli imperi di commercianti nell'era della navigazione e della polvere da sparo, che fu reso possibile dagli sviluppi nella misurazione accurata del tempo. Ho saltato l'ascesa e - fortunatamente - il declino della perniciosa teoria del razzismo scientifico che fece da sostegno al colonialismo occidentale ed alla tratta degli schiavi. Ho saltato l'ascesa del femminismo, la posizione ideologica secondo cui le donne sono esseri umani invece di proprietà, ed il declino del patriarcato. Ho saltato l'intero illuminismo ed il periodo delle rivoluzioni! Ma questo è un congresso tecnocratico, quindi voglio strutturare questo intervento in termini di IA, che noi tutti apprezziamo e comprendiamo.)
Ecco una cosa che riguarda le corporazioni: sono chiaramente artificiali, ma legalmente sono persone. Hanno scopi, ed operano in modo da conseguire questi scopi. Ed esse hanno anche un naturale ciclo vitale. Negli anni '50 una tipica corporazione statunitense facente parte dell'indice S&P 500 aveva una durata della vita di 60 anni, ma oggi è scesa a meno di 20 anni.
Le corporazioni sono cannibali; si consumano l'una con l'altra. Sono anche superorganismi alveari, come le api e le formiche. Per il primo secolo e mezzo, per le proprie operazioni interne sono dipese interamente dagli impiegati umani, nonostante stiano automatizzando i propri processi d'affari incrementandoli rapidamente in questo secolo. Ogni umano viene impiegato per il tempo necessario a svolgere i compiti assegnati, e può venire rimpiazzato da un altro umano, come accade per le cellule dei nostri corpi che sono funzionalmente intercambiabili (ed un gruppo di cellule spesso può, in extremis, venire rimpiazzato da una protesi). In una certa misura, le corporazioni possono venire addestrate per servire gli interessi personali dei propri esecutivi, ma anche gli A.D. possono venire esentati se le loro attività danneggiano la corporazione, come Harvey Weinstein ha scoperto un paio di mesi fa.
Infine, il nostro odierno ambiente legale è stato cucito su misura a vantaggio delle persone-corporazioni, piuttosto che per le persone umane, al punto che anche i nostri governi ora imitano le corporazioni nelle proprie strutture interne.
Cosa vogliono le IA?
Cosa vogliono i signori supremi delle nostre IA attualmente esistenti?
Elon Musk - di cui sono sicuro tutti avete sentito parlare - ha una paura ossessiva rispetto ad un particolare pericolo dell'intelligenza artificiale - che lui concepisce come un pezzo di software che funziona come un cervello-in-scatola) - il cosiddetto massimizzatore di graffette. Il massimizzatore di graffette è una licenza poetica per descrivere una IA-con-uno-scopo avente una singola priorità, ad esempio massimizzare il numero di graffette nell'universo. Il massimizzatore di graffette è capace di migliorare se stesso per perseguire il proprio scopo, ma non ha la capacità di cambiare il proprio obiettivo, di conseguenza alla fine cercherà di convertire tutti gli elementi metallici del sistema solare in graffette, anche se questo si rivelerà ovviamente dannoso per il benessere degli umani che l'hanno progettato.
Sfortunatamente, Musk non presta abbastanza attenzione. Consideriamo la sua azienda. Tesla è un massimizzatore di batterie - un'automobile elettrica è una batteria con ruote e sedili. SpaceX è un massimizzatore di carico utile orbitale, che fa calare i costi dei lanci spaziali per poter incoraggiare maggiori vendite del servizio che essa fornisce. Solar City è un massimizzatore di pannelli fotovoltaici. E così via. Tutte e tre le lentissime IA di Musk sono basate su un'architettura progettata per massimizzare gli utili degli investimenti degli azionisti, anche se per ottenere questo finisce col cuocere il pianeta su cui gli azionisti devono vivere. (Ma se sei Elon Musk, va tutto bene: stai progettando di ritirarti su Marte.)
Il problema con le corporazioni è che, al di là degli scopi evidenti - che sia produrre veicoli elettrici o birra o vendere assicurazioni sulla vita - esse sono tutte soggette a convergenza strumentale nella misura in cui tutte hanno un comune implicito obiettivo da massimizzatore di graffette: generare rendite. Se non generano sufficiente denaro, vengono mangiate da un predatore più grande o falliscono. Fare soldi è un obiettivo strumentale - per loro è vitale quanto per noi mammiferi respirare, e se non riescono a conseguirlo allora falliscono nel raggiungimento del loro obiettivo finale, qualunque esso sia. Le corporazioni in genere perseguono i propri obiettivi strumentali - solitamente massimizzare i guadagni - come effetto collaterale del loro obiettivo evidente. Ma talvolta, invece, cercano di manipolare l'ambiente legislativo in cui operano per assicurarsi che il denaro fluisca in loro nonostante tutto.
La cultura umana della costruzione di utensili è diventata, col tempo, sempre più complicata. Le nuove tecnologie arrivano sempre con un implicito programma politico che cerca di estendere il loro uso, i governi reagiscono creando leggi per controllare le tecnologie, e talvolta finiamo con l'avere industrie che indulgono in duelli legali.
Ad esempio, considerate le automobili. Non è possibile avere un trasporto automobilistico di massa senza stazioni di rifornimento e condutture per la distribuzione del carburante. Queste, a loro volta richiedono l'accesso a chiunque possieda il territorio dal quale viene estratto il petrolio - e prima che tu possa accorgertene, finisci con l'avere una forza di occupazione permanente in Iraq ed una dittatura clientelare in Arabia Saudita. Più vicino a casa, le automobili portano leggi sull'attraversamento della strada e sull'uso di alcool alla guida. Influenzano i piani regolatori urbani ed incoraggiano l'allargamento dei sobborghi urbani, la costruzione di infrastrutture umane su scala adatta dalle automobili anziché ai pedoni. Questo, a sua volta, è male per le tecnologie di trasporto concorrenti come il autobus o i tram (che funzionano al meglio in città con un'alta densità di popolazione).
Per poter piazzare queste leggi, che forniscano un ambiente favorevole agli affari, le corporazioni spendono denaro nei lobbisti politici - e, quando riescono a farla franca, in tangenti. La corruzione non deve necessariamente essere eclatante, ovviamente. Ad esempio, le riforme alla rete ferroviaria britannica degli anni '60 smembrarono molti servizi di filiale e coincisero con un'ondata di costruzioni di strade e vendite d'auto. Queste riforme furono orchestrate dal ministro dei trasporti Ernest Marples, che era un puro politico. Tuttavia, Marples accumulò una considerevole fortuna personale in quel periodo possedendo azioni di una corporazione di costruzioni di strade. (Quindi, nessun conflitto d'interessi qua!).
L'industria automobilistica, presa isolatamente, non è un puro massimizzatore di graffette. Ma se guardiamo ad essa in congiunzione con le industrie petrolifere, l'industria di costruzioni strade, l'industria delle assicurazioni sugli incidenti, e così via, possiamo iniziare a vedere i contorni di un ecosistema massimizzatore di graffette che invade terre lontane e trita ed uccide circa un milione ed un quarto di persone all'anno - questo è il prezzo in morti pagato dagli incidenti automobilistici secondo l'organizzazione mondiale della sanità: rivaleggia con la prima guerra mondiale su base continuativa - come effetto collaterale del proprio obiettivo di venderti una nuova automobile.
Le automobili non sono, ovviamente, uno svantaggio totale. Le auto odierne vengono regolamentate rigorosamente per la sicurezza e, in teoria, per ridurre le emissioni tossiche: sono veloci, efficienti e comode. Per questo, possiamo ovviamente ringraziare le regolamentazioni obbligate dalle leggi. Torniamo agli anni '70 e le auto non avevano le zone di deformazione. Torniamo agli anni '50 e le auto non avevano le cinture di sicurezza di serie. Negli anni '30, indicatori - frecce - e freni su tutte quattro le ruote erano opzionali e la tua miglior speranza di sopravvivere ad un impatto a 50km/h era di gettarti fuori dalla macchina atterrando da qualche parte senza romperti il collo. Le agenzie di regolamentazione sono i nostri attuali strumenti politici dedicati a prevenire che i massimizzatori di graffette inizino a correre all'impazzata. Ma sfortunatamente, non sempre funzionano.
Una modalità di fallimento di cui dovreste sapere è il regulatory capture (cattura del regolatore), nella quale i corpi regolatori vengono catturati dalle industrie che essi controllano. Ajit Pai, il capo dell'americana Federal Communications Commission che ha appena votato per eliminare le regole sulla neutralità della rete, ha lavorato come Consigliere Generale Associato per la Verizon Communications Inc, l'attuale più grande discendente del monopolio dei sistemi telefonici Bell. Perché qualcuno con un chiaro interesse in una corporazione tecnologica è finito con l'essere incaricato di regolamentare l'industria in cui quella corporazione opera? Beh, se hai intenzione di regolamentare una tecnologia molto complessa, hai bisogno di reclutare regolatori fra quelle persone che la capiscono. E sfortunatamente, la maggior parte di queste persone sono membri dell'industria. Ad Ajit Pai è molto chiaro come Verizon viene regolamentata, e vuole fare qualcosa in proposito - solo, non necessariamente nel pubblico interesse. Quando l'organico dei regolamentatori finisce per essere pieno di persone prese dalle industrie che si suppone essi dovrebbero regolamentare, finisce spesso col lavorare assieme al propri ex compagni d'ufficio per rendere più facile ottenere profitti, sia alzando barriere per tenere fuori dai giochi le nuove aziende emergenti, sia smantellando le misure di sicurezza che proteggono il pubblico.
Un'altra modalità di fallimento è la latenza delle regolamentazioni: quando una tecnologia avanza così rapidamente che le regolamentazioni sono ridicolmente obsolete nel momento in cui vengono emanate. Considerate la direttiva europea che richiede di notificare i cookie sui siti per avvisare gli utenti che le loro attività vengono tracciare e la loro privacy potrebbe venire violata. Questa sarebbe potuta essere una buona idea, se fosse apparsa nel 1993 o nel 1996, ma sfortunatamente non apparì prima del 2011, al cui tempo la rete era già molto più complessa. Già allora erano molto diffusi meccanismi di fingerprinting e di tracciamento che non avevano nulla a che fare con i cookie. Nel 1995 Tim Berners-Lee osservò che l'equivalente di cinque anni di cambiamenti nel tempo del mondo reale, nella rete avveniva ogni dodici mesi; secondo questo metro, la legge sui cookie arrivò circa un secolo troppo tardi per essere di qualsiasi beneficio.
Ancora, osservate Uber. Questo mese la Corte Europea di Giustizia stabilì che Uber è un servizio di taxi, e non solo un'applicazione web. Ciò è indubbiamente corretto; il problema è che Uber si è già diffuso globalmente da quando era stato fondato otto anni fa, sovvenzionando i suoi autisti per mettere le aziende private concorrenti fuori dal mercato. Che questo sia un bene per la società è motivo di discussione; il problema è che un autista di taxi può diventare orribilmente affamato se deve aspettare otto anni perché una corte emetta una sentenza contro un predatore intenzionato a distruggere la sua vita.
Quindi, ricapitolando: primo, abbiamo già dei massimizzatori di graffette (e l'allarmismo di Musk sulle IA è curiosamente incapace di guardare ad uno specchio). Secondo, abbiamo dei meccanismi per tenerli sotto controllo, ma non funzionano bene contro le IA che fanno uso delle arti oscure - specialmente la corruzione e le tangenti - e sono anche peggio contro le vere IA che si evolvono troppo velocemente perché i meccanismi umano-mediati come la Legge possano stare al passo. Infine, diversamente dalla visione naif del massimizzatore di graffette, le IA esistenti hanno obiettivi multipli - il loro scopo esplicito, ma anche la ricerca del profitto, e l'espansione in nuove aree, e l'accontentare i desideri di chiunque sia attualmente sul sedile di guida.
Come ha fatto ad andare tutto male
A me sembra che gli attuali sconvolgimenti politici si possano capire meglio come derivanti dalla cattura post-1917 delle istituzioni da parte delle grandi IA. Ovunque io guardi vedo elettori protestare con rabbia contro delle istituzioni trincerate che sembrano determinate ad ignorare i desideri e le necessità degli elettori umani in favore delle macchine. Le agitazioni della Brexit erano per la maggior parte il risultato di voti di protesta contro l'istituzione politica britannica; similmente l'elezione di Donald Trump, con un'aggiunta di razzismo sopra. I nostri partiti politici principali sono capitanati da persone compatibili con il sistema esistente - un sistema che s'è plasmato da decenni in cui le corporazioni hanno distorto il nostro governo e gli ambienti regolativi. Noi umani stiamo vivendo in un mondo plasmato dai desideri e dalle necessità delle IA, obbligati a vivere secondo i loro termini, e ci viene insegnato che abbiamo valore solo fin quando contribuiamo al dominio delle macchine.
Ora, questo è il CCC, e qua siamo tutti più interessati ai computer ed alle telecomunicazioni che a questo ciarpame storico. Ma, come ho detto prima, la storia è un'arma segreta se sai come usarla. L'utilità della storia è di renderci capaci di notare schemi ricorrenti nel comportamento umano che si ripetono su scale temporali al di fuori della nostra esperienza personale - lontani decenni o secoli. Se osserviamo le nostre storiche e molto lente IA, che lezione possiamo imparare da loro riguardo alle moderne IA - l'inaudita inondazione di tecnologie sul deep learning e big data che ci ha oltrepassato nell'ultima decade?
Abbiamo fatto un fondamentalmente fallato, terribile, errore di progettazione nel 1995, che ha danneggiato i processi politici democratici, paralizzato la nostra capacità di capire realmente il mondo attorno a noi, e portato alle rabbiose sollevazioni dell'ultimo decennio. Questo errore è stato di finanziare lo sviluppo pubblico del world wide web - in opposizione al primo internet finanziato dal governo e dalle università - monetizzando le visualizzazioni mediante le entrate pubblicitarie.
(Nota: Cory Doctorow ha una tesi contraria: Il boom delle dotcom era anche una bolla finanziaria perché le dotcom erano diventate mature ad un punto di non ritorno della deregulation finanziaria, il punto in cui le riforme Reagan-Clinton-Bush, che hanno tolto il periodo della Depressione alla bancarotta della finanza, stavano davvero prendendo piede. Questo significa che il ritmo incalzante dello sviluppo dell'industria tecnologica era stato il primo banco di prova nel considerare la crescita corporativa come la più grande virtù, costruita sulla menzogna del dovere fiduciario di incrementare il profitto al di sopra ogni altra considerazione. Penso che abbia completamente ragione riguardo a questo, ma è un po' un argomento dell'uovo e della gallina: non avremmo avuto prima di tutto un web commerciale in assenza di un ambiente finanziario deregolamentato e permissivo. I miei ricordi di lavoro nella bolla delle dotcom 1.0 sono che, al di fuori di un paio di particolari ambienti (l'area della Silicon Valley ed il corridoio Boston-Cambridge) era difficile trovare capitali a rischio fino al tardo 1998 o giù di lì: l'inflazione iniziale della bolla era spinta dalla domanda invece che dal capitale, dato che il settore degli investimenti non tecnologici era arrivato tardi alla festa. Avviso: Non ho vinto la lotteria, quindi cosa ne so Io?)
Il web sostenuto dalle pubblicità che stiamo vivendo ora, non era inevitabile. Se vi ricordate com'era il web nel 1994, c'erano pochissime pubblicità in generale, e non molte nell'ambito del commercio. (Le pubblicità che c'erano erano principalmente spam su usenet o via email.) Il 1995 fu l'anno in cui il web arrivò realmente all'attenzione pubblica nel mondo anglofono ed i siti orientati ai consumatori iniziarono ad apparire. Nessuno sapeva veramente come questa cosa sarebbe stata pagata (la bolla dotcom originale riguardava principalmente il cercare di monetizzare il web per la prima volta, ed un mucchio di persone persero tutto in questo processo). E l'ingenuo presupposto iniziale era che il costo di transazione del costruire una connessione TCP/IP attraverso i modem fosse troppo elevato per poter essere sostenuto da micro-tassazioni al singolo uso, così avremmo dovuto tassare i consumatori indirettamente, mostrando banner pubblicitari davanti ai loro occhi e sperando che ci cliccassero e comprassero qualcosa.
Sfortunatamente, quella pubblicitaria è un'industria. Vale a dire, che è il prodotto di una di quelle IA vecchio stile di cui parlavamo. L'industria pubblicitaria cerca di massimizzare la sua presa sull'attenzione delle menti che stanno dietro ai bulbi oculari umani: l'accoppiamento tra pubblicità e ricerche nel web fu uno sviluppo inevitabile. (Cosa c'è di meglio di attirare l'attenzione di soggetti riluttanti, che trovare ciò che realmente vogliono vedere e vendere pubblicità collegate a quegli interessi?)
Il problema, quando si applica l'approccio del massimizzatore di graffette nel monopolizzare i bulbi oculari, è che le palle degli occhi sono una risorsa soggetta a scarsità. Ci sono solo 168 ore ogni settimana in cui posso fissare banner pubblicitari. Inoltre, la maggior parte delle pubblicità è irrilevante rispetto ai miei interessi e non importa quanto spesso tu mi faccia apparire davanti la pubblicità dei biscotti per cani, non li comprerò mai. (Sono un amante dei gatti.) Per fare il miglior uso delle palle degli occhi come generatori di introiti, l'industria pubblicitaria deve necessariamente imparare chi siamo e cosa c'interessa, ed a bersagliarci con crescente precisione nella speranza di prenderci all'amo usando le cose che ci attirano.
A questo punto del dibattito, solitamente mi lascio andare ad un appassionata invettiva riguardo alla ripugnante corruzione e malvagità di Facebook, ma immagino che le abbiate già sentite tutte, quindi passerò oltre. Il riassunto stile troppo-lungo-non-l'ho-letto è che Facebook è un motore di ricerca tanto quanto Google o Amazon. Le ricerche di Facebook sono ottimizzate per le Facce, cioè per gli esseri umani. Se vuoi trovare qualcuno di cui hai perso i contatti trent'anni fa, Facebook probabilmente sa dove vive, qual'è il suo colore preferito, la taglia delle scarpe e cosa diceva di te ai tuoi amici in tutto il tempo in cui non vi eravate sentiti.
Anche se non hai un account su Facebook, Facebook ha un account su di Te - un buco nelle loro statistiche sociali con un mucchio di connessioni che puntano ad esso ed il tuo nome taggato sulle foto degli amici. Sanno molte cose di te, e vendono l'accesso alle loro statistiche sociali ai pubblicitari che poi ti bersaglieranno, anche se non pensi di stare usando Facebook. Infatti, non c'è quasi nessuna ragione per non usare Facebook oggigiorno: sono i Borg dei social media, la resistenza è inutile.
Tuttavia, Facebook prova a far puntare gli occhi sulle pubblicità, come fa Twitter, come fa Google. Per poterci riuscire, calibrano i contenuti da mostrarvi per renderli più attraenti ai vostri occhi - e per "attraente" non intendo piacevole. Noi umani abbiamo un riflesso automatico evoluto che porta l'attenzione sia verso le minacce e gli orrori che verso gli stimoli piacevoli: considerate il modo in cui il traffico autostradale rallenta fino a passo d'uomo, come se passasse per un imbuto posto nel luogo di un incidente. Gli algoritmi che determinano cosa mostrarci quando guardiamo su Facebook o Twitter tengono conto di questa tendenza. Potresti reagire in modo più intenso ad un'impiccagione in Iran, che ad una coppia che si bacia: l'algoritmo sa cosa attira la tua attenzione e te lo mostra.
Questo mi porta ad un altro interessante punto riguardo alle IA computerizzate, in senso contrapposto alle IA corporative: gli algoritmi delle IA tendono ad incorporare i pregiudizi e le credenze dei programmatori. Un paio di anni fa m'ero imbattuto in una webcam sviluppata da ingegneri della silicon valley principalmente-con-la-pelle-pallida che aveva difficoltà a mettere a fuoco od ottenere un corretto bilanciamento dei colori quando era puntata su visi con la pelle nera. Questo è un esempio d'inclinazione indotta da programmatori umani. Ma con l'odierno deep learning, le inclinazioni possono insinuarsi attraverso gli insiemi di dati con i quali vengono addestrate le reti neurali. La prima incursione di Microsoft nel campo degli chat bot guidati dal machine learning, Tay, fu messa offline dopo pochi giorni, perché i troll che frequentavano 4chan e Reddit scoprirono che potevano addestrarla ad essere razzista e sessista per farsi due risate.
Gli umani possono avere inclinazioni e pregiudizi, ma almeno siamo responsabili di noi stessi e se qualcuno ti sbatte in faccia degli insulti razzisti o sessisti, puoi lamentarti (o tirargli un pugno). Ma è impossibile dare un cazzotto ad una corporazione, e quando hai a che fare con un sistema di machine learning, potrebbe non essere nemmeno possibile identificare la fonte di quell'ingiusta inclinazione.
I sistemi basati su IA che concretizzano gli esistenti pregiudizi e prospettive sociali, rendono più difficile, per noi attivisti, l'ottenere dei cambiamenti sociali. La pubblicità tradizionale funziona giocando sia sulle insicurezze e le paure del consumatore che sulle sue aspirazioni, che a loro volta giocano sulle relazioni del bersaglio con la sua matrice culturale circostante. La paura di perdere status sociale e privilegi è uno stimolo forte, e la paura e la xenofobia sono strumenti utili per catturare gli sguardi.
Cosa accade quando otteniamo dei social network pervasivi con delle inclinazioni apprese, ad esempio, contro il femminismo, l'islam o la melanina? O sistemi di deep learning addestrati da insiemi di dati contaminati da cagate razziste? Sistemi di deep learning come quelli di Facebook che determinano le storie da mostrarti per far si che tu possa prestare più attenzione possibile alle pubblicità?
Penso che sappiate già la risposta.
Guarda al futuro (è desolante!)
Ora, se questo vi suona un po' desolante e spiacevole, avete ragione. Io scrivo fantascienza, voi leggete o guardate o giocate fantascienza; abbiamo una cultura che ci fa pensare alla scienza ed alla tecnologia come a buone cose, che rendono migliori le nostre vite.
Ma molte tecnologie sono state, storicamente, pesantemente regolamentate o anche criminalizzate per delle buone ragioni, ed appena riuscite a superare il riflesso d'indignazione verso qualsiasi critica alla tecnologia ed al progresso, potreste essere d'accordo che sia ragionevole proibire agli individui di possedere armi nucleari o gas nervino. Meno lampante: possono non essere armi, ma abbiamo bandito i refrigeranti a base di clorofluorocarburi perché si accumulavano nell'alta stratosfera distruggendo lo strato di ozono che ci protegge dalle radiazioni UV-B. Ed abbiamo bandito il l'additivo piombo tetraetile della benzina, perché avvelenava la gente e portava ad ondate di crimine.
Il gas nervino e la benzina super erano tecnologie degli anni '30, promosse dalle corporazioni degli anni '30. I refrigeranti alogenati e le armi nucleari erano degli anni '40, ed i missili balistici intercontinentali sono datati anni '50. Mi rassegno all'idea che il ventunesimo secolo stia vomitando nuove e pericolose tecnologie - mentre le nostre esistenti strategie per regolamentare le IA lente sono andate a pezzi.
Lasciate che vi faccia quattro esempi - di nuove tipologie di applicazioni dell'IA - che andranno a deformare le nostre società ancor peggio di quanto le vetuste lente IA hanno già fatto. Questa non è una lista esaustiva: sono solo esempi. Dobbiamo elaborare una strategia generale che ci permetta di venire a capo di questo genere di IA prima che sia essa a venire a capo di noi.
(Nota bene che io non ho una soluzione ai problemi regolatori che ho evidenziato prima, nel contesto delle IA. Questo saggio è polemico, inteso ad evidenziare l'esistenza di un problema ed accendere una discussione, non una soluzione pronta in scatola. Dopotutto, se il problema fosse stato facile da risolvere, non sarebbe stato un problema, no?)
Primo, gli strumenti di hacking politico: propaganda basata su statistiche sociali
La ciliegina sulla torta della mia lista di tecnologie pericolose che necessitano di regolamentazione, è un frutto facile da cogliere dopo le sorprese elettorali del 2016. Cambridge Analytica è stata un pioniere nell'uso del deep learning, utilizzando le statistiche sociali di Facebook e Twitter per identificare le affiliazioni politiche degli elettori. Identificarono gli individui vulnerabili alla persuasione che vivevano in distretti elettoralmente sensibili, e li tappezzarono con della propaganda che prendeva di mira i loro personali problemi più caldi. Gli strumenti sviluppati dai pubblicitari del web per poter vendere prodotti, ora si erano trasformati in armi politiche, e la quantità di informazioni personali che esponiamo sui social media riguardo alle nostre affiliazioni ci rende vulnerabili. Al di là dell'ultima elezione presidenziale statunitense, ci sono prove crescenti che il referendum britannico sull'uscita dall'EU fosse stato soggetto ad attacchi stranieri di guerra cibernetica attraverso l'uso bellico dei social media, così come per l'ultima elezione presidenziale francese.
Qua mi devo mordere la lingua e cercare di non prendere posizione: anch'io ho una mia preferenza politica, dopotutto. Ma se le aziende di social media non cercheranno di capire come poter identificare e marcare la propaganda micro-mirata, allora le elezioni democratiche verranno sostituite dalla vittoria di chiunque riesca a comprare la maggior parte dei troll. E questo non sarà semplicemente fatto dai miliardari come i fratelli Koch e Robert Mercer negli Stati Uniti, che gettano le elezioni a chiunque gli fornisca i maggiori tagli fiscali. La dottrina della guerra cibernetica militare russa richiede l'uso dei social media per confondere e disabilitare i nemici percepiti, in aggiunta all'uso sempre più familiare di exploit zero-day per spionaggio tramite phishing ed attacchi di tipo distributed denial of service alle infrastrutture (che vengono praticati anche dalle agenzie occidentali). Prima o poi, l'uso di armate di bot di propaganda nella guerra cibernetica diventerà globale, ed a quel punto, il nostro discorso sociale sarà irreparabilmente intossicato.
(Comunque, io odio davvero l'aggettivo "cibernetico"; solitamente è indice che chi lo sta usando non ha alcuna idea di ciò che sta dicendo. Sfortunatamente, il termine "guerra cibernetica" (NdT: cyberwar sul testo originale) sembra essere diventato comune. Ma sto divagando.)
Secondo, un complemento alla propaganda mirata prodotta da deep learning è l'uso delle reti neurali per generare video fasulli.
Oggigiorno siamo abituati alle immagini photoshoppate, ma falsificare video ed audio è ancora molto laborioso, giusto? Sfortunatamente, c'è un no: stiamo vedendo la prima generazione di video porno fatti con l'aiuto di IA, nel quali le facce di stelle del cinema vengono mappate in un videoclip sopra a quelle di altre persone utilizzando un software in luogo del laborioso intervento umano. (Sì, ovviamente il porno è la prima applicazione: qua si applica la Regola 34 di Internet.) Nel frattempo, abbiamo WaveNet, un sistema per generare del parlato che suoni realistico, con la voce di un oratore umano che una rete neurale è stata addestrata ad imitare. Queste cose sono intensamente da geek e richiedono delle GPU molto costose. Ma in meno di dieci anni saranno diffuse e praticamente tutti saranno in grado di confezionare un video che appaia realistico di qualcuno che non ci piace, mentre fa qualcosa di orribile.
Stiamo già vedendo segnali di allarme riguardo a bizzarri canali YouTube che cercano di monetizzare i marchi delle TV dei bambini arraffando il contenuto dei video dai legittimi canali ed aggiungendovi le proprie pubblicità e parole chiave. Molti di questi canali sono plasmati da IA pubblicitarie massimizzatrici di graffette che cercano semplicemente di massimizzare il proprio posto in classifica nelle ricerche su YouTube. Aggiungi uno strumento guidato da rete neurale che inserisca il Personaggio A nel Video B a dei bot massimizzatori ed aspettati che inizino a succedere cose veramente strane (e sgradevoli). Ed inizieranno a diventare ancora più strane quando questi strumenti verranno schierati a vantaggio politico.
Tendiamo a valutare gli input dai nostri occhi ed orecchie in modo molto meno critico di quanto ci dicano degli estranei a caso su internet - e siamo già ora fin troppo vulnerabili alle bufale. Presto verranno a prenderci, armati di prove video credibli. I bravi investitori ci dicono che entro il 2027 non sarete in grado di credere a nulla di ciò che vedrete in video, a meno che su di esso non vi siano delle firme crittografiche che portino al dispositivo che filmò il flusso video - e voi sapete bene quanto la maggior parte delle persone sappia usare la crittografia? I cattivi investitori sono nel caos totale.
I massimizzatori di graffette focalizzati all'attenzione dei vostri occhi fanno tanto "ventesimo secolo". Quella pubblicitaria è un'industria che può esistere solo a causa di una stranezza del nostro sistema nervoso - cioè che siamo suscettibili alla dipendenza. Che sia il tabacco, il gioco d'azzardo, l'eroina, riconosciamo un comportamento da dipendenza quando lo vediamo. O no? A quanto pare i cicli di feedback di gratificazione del cervello umano sono relativamente semplici da fregare. Le grosse aziende come Zynga (Farmville) esistono solo grazie a questo; le piattaforme social ad-uso-gratuito come Facebook e Twitter sono dominanti proprio perché sono strutturate in modo da gratificare l'interazione frequente e generare risposte emotive (non necessariamente emozioni positive - rabbia ed odio vanno comunque bene quando si tratta di orientare i bulbi oculari verso le pubblicità). La "dipendenza da smartphone" è un effetto collaterale dell'uso della pubblicità come modello di gratificazione: scoppi frequenti e brevi d'interazione che continuano a farci tornare lì per averne ancora.
Grazie al deep learning, gli neuroscienziati hanno meccanizzato il processo di rendere le app più droganti. Dopamine Labs è una startup che fornisce strumenti per sviluppatori di app per renderle più droganti, ed anche per ridurre il desiderio di perpetrare un comportamento se considerato indesiderabile. Si spinge un po' oltre al A/B testing automatizzato; l'A/B testing permette agli sviluppatori di tracciare un percorso attraverso un albero binario di opzioni, ma i veri massimizzatori di dipendenza basati su deep learning possono ottimizzare per diversi attrattori simultaneamente. Ora, sembra che ai Dopamine Labs, guardando la loro facciata pubblica, abbiano degli scrupoli etici riguardo all'abuso di massimizzatori di dipendenza nei software. Ma la neuroscienza non è un segreto, e prima o poi qualcuno con pochi scrupoli cercherà di provare a vedere fino a che punto sia possibile spingerla.
Lasciate che vi mostri uno scenario più specifico.
Apple ha impiegato molte risorse per far funzionare il riconoscimento facciale in tempo reale con l'iPhone X. Non puoi imbrogliare un iPhone X con una foto o con una semplice maschera: lui fa una mappatura completa per assicurarsi che i tuoi occhi siano nel posto giusto (e può anche capire se sono aperti o chiusi) e riconoscere la tua faccia dalla struttura ossea sottostante attraverso il trucco ed i graffi. È continuamente in funzione, facendo controlli praticamente ogni qualvolta sull'interfaccia di un telefono tradizionale premeresti il pulsante Home, e può vedere dove i tuoi occhi stanno puntando. Lo scopo di questo è rendere difficile ad un ladro poter fare qualsiasi cosa con il tuo telefono. Ma significa anche che il tuo telefono può monitorare le tue espressioni facciali e correlarle con l'utilizzo delle app. Il tuo telefono saprà precisamente cosa ti piace guardare sullo schermo. Assieme al deep learning mirato alla dipendenza ed alle immagini generate da reti neurali è, come principio, possibile darti in pasto un continuo sempre maggiore carico di input che massimizzino l'eccitamento. Siano messaggi di Facebook o Twitter ottimizzati per produrre indignazione, o sia porno generato da IA che fanno appello a capricci che non sei nemmeno cosciente di avere. Ma in entrambi i casi, l'app ora è padrona del tuo sistema nervoso centrale - e tu verrai monetizzato.
Infine vorrei evocare un spettro da far rizzare i capelli, che va ben oltre l'uso del deep learning e della propaganda mirata nella guerra cibernetica.
Nel 2011, un'oscura software house russa lanciò un'app iPhone per comunità di seduttori chiamata Girls around Me. (Spoiler: La Apple se ne sbarazzò come una patata bollente non appena le voci trapelarono.) L'app funzionava quando l'utente aveva il GPS attivo, quindi interrogava FourSquare e Facebook per trovare persone che corrispondevano ad una semplice ricerca relazionale - femmine single (via Facebook) che avevano fatto accesso (o erano state contattate dai loro amici) nelle tue vicinanze (via FourSquare). L'app quindi mostrava la loro posizione su una mappa, completa di link ai loro profili social.
Se l'avessero fatta oggi, l'interfaccia sarebbe stata gamificata (NdT: resa simile ad un gioco), mostrando statistiche di abbordaggio, una classifica e delle bandierine sui bersagli che hanno ceduto facilmente alle molestie. Ma oggigiorno i ragazzi fighi e gli adulti single usano tutti app d'incontri con una vocale in meno nel nome: solo un viscidone userebbe qualcosa come "Girls around Me", giusto?
Sfortunatamente esistono usi ancora più sgradevoli del rovistare nei social media per trovare potenziali vittime per stupratori seriali. Il vostro profilo social indica la vostra affiliazione politica o religiosa? No? Non preoccupatevi, Cambridge Analytica può ricavarlo con una precisione del 99,9% solo scansionando i tweet ed i commenti Facebook che ti sono piaciuti. Aggiungi un servizio che possa identificare l'affiliazione e la posizione delle persone, ed ottieni l'inizio di una app per flash mob: una che ti mostra le persone come Noi e le persone come Loro su di una iper-mappa locale.
Immagina di essere una giovane ragazza, e che un supermercato abbia capito che sei incinta grazie all'analisi degli schermi dei tuoi recenti acquisti, come Target nel 2012.
Ora immagina che tutti gli attivisti anti-abortisti della tua città abbiano sui loro telefoni un'app chiamata "Bambini a rischio". Qualcuno ha pagato per i dati analitici del supermercato ed il risultato è che ogni volta che passi a fianco di una clinica, un gruppo di ostili manifestanti anti-aborto ti assale.
O immagina di essere un maschio gay e che i tipi di "Dio Odia i Froci" hanno inventato un'app Gaydar affidabile al 100% (basata sul tuo profilo di Grindr) e riescono a radunare i propri compagni di viaggio per pestare i gay solo quando li trovano soli oppure possono essere in rapporto di 10:1. (Questo è lo speciale orrore della geo-locazione di precisione.) O immagina di essere in Pakistan e che le tensioni tra cristiani e musulmani stiano crescendo, oppure sei nell'Alabama rurale, o... le possibilità sono infinite.
Qualcuno la fuori ci sta lavorando: un'applicazione di deep learning su base social media con accesso alla geo-locazione, che usa la competizione tramite gamification su un'interfaccia che premia i propri "giocatori" per essersi uniti ad atti di violenza di massa contro chiunque lo sviluppatore dell'applicazione odi. Probabilmente avrà una modalità di tutorial apparentemente innocua ma che genera molta dipendenza per far abituare gli utenti a lavorare in gruppo ed obbedire alle istruzione dell'app - pensare ad Ingress o Pokemon Go. Quindi, ad un'ora preimpostata, cambia modalità ed inizia a premiare i giocatori per gli atti di violenza - giocatori che sono stati addestrati a pensare ai propri bersagli come a vermi, da una costante propaganda de-umanizzante somministrata goccia a goccia nel lasso di diversi mesi.
E la cosa peggiore di quest'immagine?
È che lo sviluppatore dell'app non è uno stato-nazione che cerca di distruggere i suoi nemici, o un gruppo di estremisti politici che cercano di assassinare gay, ebrei o mussulmani; è solo un massimizzatore di graffette che fa ciò che deve fare - e tu sei la carta.
Commenti
azza Mercoledì 10 gennaio 2018
interessante e inquietante.
Tichy Mercoledì 10 gennaio 2018
Sì, specialmente perché sono cose quasi del tutto possibili già ora. Interessante è l'idea di vedere le corporazioni come delle IA lente, ma molto sensata. Le azioni di una corporazione possono essere viste come una proprietà emergente dall'interazione delle sue componenti con se stesse e l'ambiente esterno, come un organismo. In modo simile, il mercato economico, ad un ordine di complessità anche maggiore, tale che risulta di sempre più difficile comprensione. Aveva usato un'idea simile nel suo romanzo Accelerando.