Comunemente si tende a identificare gli algoritmi con macchine impersonali, immuni da pregiudizi, equidistanti.
Ma questa visione, vale la pena dirlo sin d’ora, è del tutto fallace! Gli algoritmi, infatti, non nascono nel vuoto, ma sono invero progettati, addestrati, calibrati su dati e serie di dati.
E questi dati, spesso, raccontano una società diseguale.
Come ricorda Carol Ann Peters, “gli algoritmi sono il riflesso delle strutture che li nutrono”.
E nei sistemi predittivi applicati al diritto ciò significa che pregiudizi, discriminazioni sistemiche e distorsioni storiche possono essere incorporati nel codice e quindi amplificati dal calcolo.
Un esempio paradigmatico è l’uso dell’algoritmo COMPAS negli Stati Uniti per stimare la probabilità di recidiva di un imputato.
Indagini indipendenti hanno mostrato come questo sistema sovrastimi il rischio per imputati afroamericani e lo sottostimi per imputati bianchi, contribuendo a decisioni detentive inique e discriminatorie.
Nel contesto europeo, pur in assenza di casi eclatanti simili, l’uso crescente di strumenti predittivi nel contenzioso civile, tributario o amministrativo, se basato su dataset squilibrati, può penalizzare categorie vulnerabili (ad es. stranieri, soggetti economicamente fragili, ricorrenti seriali).
L’avv. Michele Iaselli ci mette in guardia da un pericolo sottile ma concreto:
«la trasparenza del codice non coincide con la trasparenza del dato».
In altre parole ciò sto a significare che anche un algoritmo tecnicamente “aperto” può nascondere discriminazioni sistemiche difficili da rilevare ex ante.
L’apparente trasparenza del codice sorgente di un algoritmo – ossia la possibilità tecnica di accedere al software utilizzato, alle sue funzioni, alle sue logiche decisionali – non garantisce affatto la trasparenza epistemica del processo decisionale algoritmico. È questo uno dei fraintendimenti più diffusi nel dibattito contemporaneo.
Come osservato dall’avv. Michele Iaselli, la vera opacità non risiede necessariamente nel codice, ma spesso nei dati che lo alimentano:
«L’equità della decisione algoritmica non può essere dedotta solo dalla leggibilità del codice. Occorre interrogarsi sul ciclo di vita del dato, sulla sua provenienza, sulla sua rappresentatività»
Si immagini un sistema predittivo italiano addestrato su sentenze tributarie di un determinato distretto giudiziario.
Se in quel distretto, per ragioni storiche o culturali, si sono consolidate prassi giurisprudenziali fortemente orientate in senso restrittivo nei confronti di determinate categorie di ricorrenti (es. piccole imprese del settore agricolo), l’algoritmo—pur essendo aperto e “ispezionabile” nel codice—tenderà a replicare tale tendenza, trasformando una variabile geografica o settoriale in un indice latente di sfavore.
In tal caso, la discriminazione non emerge dal codice, ma dalla stratificazione storica dei dati giurisprudenziali utilizzati per l’addestramento.
Un giudice che riceva in ausilio tale previsione, potrebbe inconsapevolmente conformarsi a una bias culturale pregressa, mascherata da calcolo statistico.
Oppure, ancora, nel settore delle risorse umane, è ormai noto il caso di un algoritmo adottato da una grande tech company americana, che penalizzava sistematicamente i curricula femminili per posizioni tecniche.
Il motivo? L’algoritmo era stato addestrato su un database storico contenente prevalentemente candidature maschili, riflettendo un mercato del lavoro squilibrato.
In questo caso, pur potendo accedere al codice, l’errore discriminatorio non risiedeva nella logica programmata, ma nella non rappresentatività del dataset, che ha portato l’algoritmo a “dedurre” che il genere femminile fosse un fattore negativo per la selezione tecnica.
Un simile schema potrebbe riproporsi in ambito giudiziario se si utilizzassero precedenti “sbilanciati” senza un’adeguata de-biasing analysis.
Un ulteriore pericolo emerge quando variabili formalmente neutre (come CAP di residenza, tipo di contratto, numero di precedenti ricorsi) fungono da “proxy” per categorie sensibili (razza, origine etnica, condizione socioeconomica).
L’algoritmo, trattando tali variabili come predittori legittimi, può generare effetti discriminatori indiretti, difficili da contestare giudizialmente.
Questo meccanismo di “discriminazione indiretta per interposta variabile” è uno dei più studiati nell’ambito della fairness algoritmica e rappresenta una nuova frontiera per la tutela dei diritti fondamentali.
Un altro tema centrale è poi quello della classificazione automatica: il codice, per sua natura, ordina, separa, etichetta.
Questa operazione può sembrare alquanto neutra. Ma in realtà non lo è.
Quando un sistema predittivo assegna un punteggio di affidabilità, una probabilità di soccombenza o un rischio recidivante, sta formulando un giudizio sulla persona, anche se camuffato da dato oggettivo.
E quel giudizio influenza il comportamento del giudice, dell’organo amministrativo, del datore di lavoro.
È qui che la discriminazione diventa più pericolosa: non visibile, non intenzionale, non contestabile, ma perfettamente operativa.
Ma vediamo meglio.
Il processo classificatorio è intrinseco a ogni sistema informatico: l’algoritmo, per funzionare, deve ridurre la complessità del reale in categorie statisticamente gestibili. Ciò che nella realtà è fluido, sfumato, ambivalente, per il codice deve diventare binario: appartiene o non appartiene, rientra o non rientra, supera o non supera una soglia.
Questa operazione – etichettare, ordinare, prevedere – potrebbe apparire neutrale, se non addirittura oggettiva. Ma non lo è. Non può esserlo.
Infatti, ogni classificazione presuppone una scelta preliminare su ciò che è rilevante, su quali variabili selezionare, su quali correlazioni storiche considerare predittive e su quali invece considerare eccezioni statistiche.
Si pensi ad esempio ad un algoritmo che assegni punteggi di credit scoring per valutare la solvibilità di un cittadino.
In un contesto giudiziario o amministrativo (ad esempio in sede di misure di sostegno economico), tale punteggio potrebbe essere usato per stabilire se una persona meriti fiducia finanziaria.
Ora, se tra i parametri usati per calcolare il punteggio rientrano, anche indirettamente, il CAP di residenza, la frequenza di cambio domicilio, il livello di istruzione, o la tipologia di contratto lavorativo, il sistema finirà per penalizzare proprio chi si trova in condizioni socioeconomiche più fragili.
Il risultato sarà un circolo vizioso: il soggetto svantaggiato riceverà meno credito, meno sostegno, meno fiducia, rinforzando statisticamente l’associazione tra povertà e “inaffidabilità”.
Non ci sarà stata una discriminazione formale, ma una discriminazione sistemica nascosta dietro un dato “neutro”.
In ambito penale, alcuni modelli algoritmici già utilizzati in contesti stranieri (come il citato COMPAS negli Stati Uniti) stimano la “recidivism risk”, ovvero la probabilità che un soggetto, una volta rilasciato, commetta un nuovo reato.
Tali sistemi non valutano la persona in sé, ma un aggregato di dati anagrafici, comportamentali, penitenziari. Il problema emerge quando questi dati sono selezionati sulla base di esperienze storicamente distorte, come:
- maggior frequenza di controlli nelle periferie urbane;
- condanne più severe per determinate tipologie di reati “da strada”;
- accesso diseguale alla difesa tecnica.
Il risultato è che individui appartenenti a minoranze o fasce deboli ricevono punteggi di rischio più elevati, anche in assenza di un comportamento individuale deviante.
Se il giudice si affida a tale valutazione, il rischio è che la libertà personale venga compressa non per ciò che il soggetto ha fatto, ma per ciò che è statisticamente probabile che faccia.
Un arbitrio camuffato da scienza, una profezia autoavverante vestita da dato neutro.
Ora, bisogna tenere bene in considerazione che quando un sistema predittivo assegna un punteggio (di soccombenza processuale, di rischio sanitario, di produttività futura), non si limita a descrivere una possibilità. Sta giudicando. E quel giudizio viene spesso recepito come autoritativo, come oggettivo, proprio perché formalizzato attraverso una procedura computazionale.
E un siffatto meccanismo è estremamente pericoloso per almeno tre ragioni. La prima è che non è visibile. Il soggetto giudicato non percepisce cioè di essere stato classificato. La seconda è che non è intenzionale, non vi è cioè dolo o malizia da parte di chi applica il sistema. La terza è che non è contestabile. Il giudizio algoritmico spesso non è formalizzato in atti impugnabili o motivazioni accessibili.
Eppure, è comunque un meccanismo operativo. Determina cioè esiti, indirizza comportamenti, plasma aspettative. E lo fa senza assumersene la responsabilità giuridica.
Tutto ciò ci conduce ad affermare che la classificazione è un’operazione epistemologicamente fragile e giuridicamente pericolosa quando viene affidata a sistemi automatizzati senza una profonda riflessione critica sul loro funzionamento.
Come ricordato anche dalla Prof.ssa Carolina Perlingieri, ogni giudizio giuridico comporta un bilanciamento assiologico e un’interpretazione teleologica delle norme. Elementi che nessun algoritmo è in grado di replicare, se non simulandoli maldestramente.
La vera sfida non è rendere i sistemi predittivi “più precisi”, ma piuttosto decidere dove e quando sia lecito classificare, e con quali garanzie di non disumanizzazione del diritto.
Ma veniamo adesso al problema dell’imparzialità del giudice contrapposto all’ “equità” dell’algoritmo.
Com’è noto, l’art. 111 della Costituzione afferma che il processo deve svolgersi nel rispetto del principio del contraddittorio e dinanzi a un giudice terzo e imparziale. È un presidio essenziale, volto a garantire la parità delle parti e l’equilibrio del processo.
Ma può dirsi davvero imparziale un giudice che riceve “suggerimenti” da una macchina programmata su dati opachi?
Quando un sistema algoritmico propone una valutazione probabilistica dell’esito atteso, non si limita a “fornire un ausilio”, esso si insinua nell’intima architettura decisionale del giudice.
L’apparente neutralità del dato informatico, se non accompagnata da piena trasparenza e contestabilità, rischia di produrre un effetto di influenza indebita, sovrapponendosi al libero convincimento del magistrato. Come osserva acutamente l’avv. Iaselli, vi è un rischio concreto che il magistrato si senta in dovere di motivare ogni scostamento dal suggerimento automatizzato, col risultato di una forma surrettizia di conformismo decisionale.
Ed allora, potremmo concludere tale breve trattazione affermando che gli algoritmi non interpretano solo i dati, ma interpretano le persone. E lo fanno secondo logiche che spesso riproducono diseguaglianze strutturali, nella totale inconsapevolezza del decisore umano. La responsabilità dell’interprete, allora, umano o artificiale che sia, non può essere elusa dietro la presunta neutralità del calcolo!
Per approfondire:
- M. BARBERIS, Giustizia predittiva: ausiliare e sostitutiva. Un approccio evolutivo, in Milan Law Review, 2022, p. 9 ss.;
- M. IASELLI, Le profonde implicazioni di carattere etico e giuridico dell’intelligenza artificiale, in Democrazia e Diritti Sociali, 2020, p. 92 ss.
Nicola Nappi
Ultimi post di Nicola Nappi (vedi tutti)
- Perché il “Codice è Legge”: cosa ci insegna davvero il “Law of the Horse” di Lawrence Lessig nel 2025 - 14 Luglio 2025
- È possibile dimostrare che un’e-mail è stata ricevuta? Profili forensi e implicazioni giuridiche - 7 Luglio 2025
- Soft law europea e intelligenza artificiale: la carta etica della CEPEJ sotto la lente - 30 Giugno 2025
- L’intelligenza artificiale in ambito forense: l’avvocato tra obsolescenza e rinascita - 23 Giugno 2025
- Il principio di umanità nel diritto predittivo: un argine all’automazione - 16 Giugno 2025
