In quanto funzionano come puri e semplici processi automatici, gli algoritmi danno spesso risultati statistici imperfetti, stupidi o scioccanti. Se, quando si digita su Google il nome di certe personalità, il motore di ricerca a volte suggerisce di aggiungerci «ebreo», è perché molti internauti lo hanno già fatto. Quando, il 1° gennaio, Facebook propone agli utenti un riassunto illustrato del loro anno, l’algoritmo seleziona le pubblicazioni che hanno suscitato il maggior numero di interazioni con gli amici, anche a costo di mettere in risalto la morte di una persona cara. Gli algoritmi seguono le loro procedure stupidamente e mancano tanto più di tatto e di senso morale in quanto, limitandosi a calcolare tracce di azioni, fanno sparire le categorie che potrebbero impedire loro di tener conto di tale o tal altro risultato. I nuovi calcolatori aspirano a essere il riflesso idiota di una regolarità statistica. 

Latanya Sweeney, una ricercatrice in informatica afroamericana, ha notato che, quando digitava il suo nome nel motore di ricerca di Google, vedeva comparire la pubblicità «Latanya Sweeney, arrestata?». Questa pubblicità propone un servizio di consultazione on line, instantcheckmate.com, che permette, tra altre cose, di sapere se le persone abbiano la fedina penale sporca. Ora, il nome dei suoi colleghi bianchi non veniva associato allo stesso tipo di pubblicità, ma piuttosto a proposte commerciali di vestiti da sposa o di rimpatriate con amici d’infanzia. 

Il sistema pubblicitario di Google è discriminatorio? Usa uno schedario che divide le categorie «Bianchi» e «Neri»? Grazie a un’indagine di retro-ingegneria sistematica su un gran numero di richieste, Latanya Sweeney ha mostrato che l’algoritmo non ha bisogno di avere un’intenzione discriminatoria per produrre quel genere di effetti discriminatori. Non contiene norme che gli chiedono di individuare le persone nere e le persone bianche. Si accontenta di lasciar fare alle regolarità statistiche che dicono che cognomi e nomi di persone nere sono statisticamente più spesso legati a clic verso ricerche sulle fedine penali. Lasciato a se stesso, il calcolatore si basa sui comportamenti degli altri internauti e contribuisce, «innocentemente», se così si può dire, alla riproduzione della struttura sociale, delle disparità e delle discriminazioni. 

Dominique Cardon.

L’individualizzazione dei calcoli, nei grandi data base, produce categorizzazioni senza aver l’aria di farlo. Negli Stati Uniti, il «fico score» misura, per ogni individuo, i rischi che presenta rispetto al credito al consumo. Se è vero che questo programma è pubblico, molti altri registrano e confrontano, nella più grande opacità, dei dati concernenti il profilo delle famiglie, l’indebitamento, il consumo, la situazione bancaria o giudiziale. Su tale questione, le legislazioni nazionali sono più o meno tolleranti, ma dappertutto si sviluppa il mercato dei dati tra imprese che si rivendono o si scambiano le informazioni. Tuttavia, incrociando informazioni legali sugli individui, è possibile fare predizioni su certi loro attributi, come la sessualità, la religione o le opinioni politiche, che non è consentito schedare. 

Non senza molte approssimazioni e molti errori, il confronto delle informazioni personali permette di indovinare nuove informazioni. L’ispezione dei dati (data mining) negli schedari delle relazioni coi clienti permette di organizzare i profili producendo discretamente categorie costruite a partire dal mero interesse del proprietario dei dati: i clienti interessanti vengono separati da quelli che non lo sono, quelli fedeli da quelli non fedeli, i «nuovi potenziali clienti» sono ambiti ecc. Queste vecchie pratiche stanno ampliandosi il perimetro attraverso l’interconnessione, effettuata dalle imprese, tra i data base dei clienti e le tracce che si possono estrapolare dai loro comportamenti sul web. 

Le tecniche di dynamic pricing propongono di differenziare le tariffe in funzione dei profili, e si sospetta che alcuni servizi penalizzino i loro clienti più fedeli, senza alternative o spinti dall’urgenza, proponendo loro prezzi più alti. Tutti quelli giudicati male nei data base, ossia quelli senza reddito, senza potenziale, indebitati o con una cronologia negativa, spariscono dal gioco delle opportunità: non accederanno a un buon tasso di credito, non beneficeranno di buoni sconto, non riceveranno le informazioni ecc. In maniera assai conservatrice, il calcolo algoritmico riproduce l’ordine sociale aggiungendo i propri verdetti alle disparità e alle discriminazioni della società: quelli giudicati male saranno serviti male e così il giudizio su di loro diventerà ancora più negativo. 

Procedendo automaticamente, i calcolatori non hanno più bisogno di categorie per centrare i profili. In compenso, coloro che manipolano i data base nel mondo del marketing hanno ancora bisogno di categorie per dare senso alla loro attività e resistere ai rischi che l’automatizzazione fa pesare sul loro mestiere. Disponendo di dati sempre più numerosi, i professionisti del data mining organizzano gli individui in segmenti sempre più fini senza mai informarli: «cliente non affidabile», «elevate spese mediche», «reddito in declino», «guida pericolosa», «casalingo avaro». La meticolosa precisione dei micro-segmenti favorisce la moltiplicazione di piccole nicchie sovrapposte che ritagliano la società con l’unico piano globale di agire efficacemente e «commercialmente» su ognuna di esse. 

Il servizio video di Netflix ha così creato quasi 77.000 micro-generi per classificare i gusti degli utenti in una serie di caselle dalla precisione surrealistica. «Drammi sentimentali europei degli anni Settanta con paesaggi e tramonti», «Commedie post-apocalittiche sull’amicizia», «Thriller violenti sui gatti per bambini di 8-10 anni» ecc. Le categorie oggi prodotte dai big data non hanno l’obiettivo di essere condivise dagli individui al fine di costruire categorie di identificazione che offrano alla società un quadro d’insieme. Esse ritagliano un infinito mosaico di bersagli per precisare il tiro delle campagne marketing. Non c’è bisogno che coloro che vengono identificati nella nicchia lo sappiano. 

Del resto, non è più necessario conoscere gli individui. L’ombra che porta la traccia dei loro comportamenti, nei loro programmi informatici, è sufficiente a nutrire i calcoli e a riconoscere i comportamenti similari. Il bersaglio del tracking non è tanto l’individuo o il singolo. Non è poi tanto necessario che coloro che identifica abbiano una psicologia, una storia, una posizione sociale, dei progetti o dei desideri. Raccolta disparata di tracce di attività sconnesse che rivelano in modo caleidoscopico delle micro-sfaccettature identitarie, l’individuo calcolato non è altro che un flusso. Esso è trasparente, e viene estrapolato dalle sue stesse tracce. 

Abituati a denunciare l’egemonia dei media tradizionali, i critici degli algoritmi, questi nuovi gatekeepers, li accusano di censurare e deformare i messaggi in nome degli interessi commerciali o dell’ideologia delle ditte americane che li concepiscono. Questa critica non è infondata, come testimonia il moralismo di Apple o di Facebook, che eliminano qualsiasi tipo di nudità dai loro servizi. Tuttavia è probabile che non afferri alla radice il cambiamento in corso nel mondo algoritmico, e che riporti, su un mondo nuovo, una vecchia accusa. 

Allineando i loro calcoli personalizzati sui comportamenti degli internauti, le piattaforme aggiustano i propri interessi economici in modo da soddisfare l’utente. Forse il calcolo algoritmico esercita il suo dominio proprio attraverso questo modo di confermare l’ordine sociale riportando gli individui ai loro comportamenti passati. Sostiene di offrire agli individui i mezzi per autogovernarsi; ma, riducendoli al loro mero comportamento, li destina a riprodurre automaticamente la società e se stessi. Il probabile si arroga il diritto di prelazione sul possibile. 

Paradossalmente, è proprio nel momento in cui gli internauti si affezionano, attraverso prefigurazioni, ambizioni e progetti, a pensarsi quali soggetti autonomi e finalmente liberi dalle ingiunzioni dei prescrittori tradizionali, che i calcoli algoritmici li riacciuffano, dal di sotto, per così dire, conformando i loro desideri alla regolarità delle loro pratiche. 

Dominique Cardon sarà presente sabato 3 settembre alle ore 12 nell’ambito della XIII edizione del Festival della Mente, promosso dalla Fondazione Carispezia e dal Comune di Sarzana. (www.festivaldellamente.it).

Il libro è disponibile nelle librerie a partire da oggi.