Big data, bigger discrimination?

Stregati dalla comodità di aver accesso a una miriade di informazioni, non ci siamo preoccupati di mettere delle regole e di definire dei limiti, pensando che tanto non abbiamo niente da nascondere.

Parlava di minoranze. Ci può fare un esempio?
Medda-Windischer: Lo scorso febbraio Human Rights Watch ha denunciato il modo in cui le autorità cinesi controllano la minoranza uigura di religione musulmana che vive nella regione dello Xinjiang. Con l’obiettivo di schedare le abitudini quotidiane dei cittadini per identificare comportamenti sospetti e combattere il terrorismo, il governo locale raccoglie informazioni sulla minoranza musulmana attraverso telecamere a circuito chiuso, intercettazione dei collegamenti alle reti wifi, posti di blocco. Azioni molto banali ‒ come non aver pagato la bolletta del telefono, avere in casa molti libri, aver acquistato più fertilizzante rispetto al solito ‒ fanno scattare le perquisizioni a domicilio e, in certi casi, la detenzione in centri di rieducazione. Human Rights Watch stima che da aprile 2016 nello Xinjiang siano state recluse decine di migliaia di persone appartenenti a minoranze.

Di fronte a questi numeri è difficile pensare che fossero tutti potenziali terroristi. Quanto è concreto il pericolo che i big data possano rafforzare stereotipi di stampo etnico?
Medda-Windischer: Le attività di sorveglianza non si indirizzano allo stesso modo verso tutti, lo sanno bene le cosiddette minoranze “visibili” che vengono fermate ai posti di controllo non per un comportamento che oggettivamente solleva sospetti, ma sulla base dei loro tratti somatici. I big data possono accentuare questa disparità di trattamento, come dimostra il controverso caso dei sistemi di polizia predittiva con cui vengono raccolti dati su crimini compiuti in passato per sventare quelli futuri. Effettivamente questi software hanno permesso di ridurre sensibilmente il numero di reati in diverse città sia in Italia che all’estero, ma c’è il rischio che diventino strumenti di profilazione razziale. Se analizzando il video di una rapina in farmacia i poliziotti annotano che il rapinatore ha la pelle scura, è difficile evitare che tutti gli uomini africani che entrano in farmacia siano considerati potenziali delinquenti. È impossibile impedire che i dati raccolti possano prestarsi a una deriva di tipo razzista. C’è poi un altro meccanismo che entra in gioco, ed è quello della profezia che si auto-adempie. Se la polizia ha disposto dei controlli in una certa zona della città – magari abitata da minoranze etniche – è facile che lì intervenga più spesso. Per l’algoritmo su cui si basano questi sistemi di controllo, quello diventa il quartiere in cui vengono commessi più crimini e i controlli di polizia verranno ulteriormente intensificati. Sempre più quindi quella zona verrà considerata a rischio, mentre quartieri in cui la polizia è meno presente potrebbero restare ignoti all’algoritmo. Si genera una sorta di corto circuito delle informazioni.

Il quadro è intricato, dai dati che volontariamente consegniamo a facebook a quelli che vengono raccolti senza il nostro consenso. Evitare manipolazioni e discriminazioni sembra impossibile.
Medda-Windischer: Mi viene in mente l’apprendista stregone, il protagonista del film d’animazione della Disney basato su una ballata di Goethe. Lasciato solo, l’assistente del mago pensa di farsi aiutare da scopa e secchio per riassettare la stanza. Pronuncia le parole magiche per animarli e pensa di aver risolto il suo problema, ma poi la situazione gli sfugge di mano, scope e secchi stanno allagando la stanza e l’apprendista non conosce la formula per ripristinare l’ordine. Con i big data mi pare sia successa la stessa cosa: stregati dalla comodità di aver accesso a una miriade di informazioni, non ci siamo preoccupati di mettere delle regole e di definire dei limiti, pensando che tanto non abbiamo niente da nascondere. Peccato che la formula magica per fermare la scopa non la conosciamo, o forse la conosciamo ma non siamo interessati a pronunciarla perché questo implicherebbe una forte volontà politica e il nostro impegno quotidiano nell’uso dei sistemi informatici.