Il primo concorso pubblico interamente digitale, dalla compilazione della domanda fino alla formazione delle graduatorie, è già una realtà: per il progetto “Coesione” del Sud, 2800 posti a disposizione, sono state effettuate le preselezioni dei candidati utilizzando i titoli presentati dagli stessi e non in base ad una prova preselettiva con quiz.
Come ha spiegato il Ministro Brunetta, è stato fatto compilare ai candidati un form con i propri titoli e le proprie esperienze: in seguito, per i 2800 posti a bando, saranno selezionati circa 10.000 candidati con verifica digitale. Il 21 aprile sono scaduti i termini, e risulta che siano state presentate 81.150 domande complessive.
Ma in base a quali criteri funziona l’algoritmo che profila i candidati? Ci sono rischi di disparità sostanziale di trattamento? Che margini di errore possono avere gli algoritmi utilizzati?
Anche le prove scritte saranno svolte in maniera immateriale, senza carta e penna. Graduatorie e punteggi saranno assegnati con programmi di intelligenza artificiale. Ma come sarà effettuata la correzione digitale?
Ad oggi, non sono state esplicitate completamente le modalità di svolgimento successivo della valutazione. Neppure il Parlamento è a conoscenza dell’algoritmo che deciderà la selezione dei candidati.
È stata anche presentata un’interrogazione parlamentare, per capire in cosa consista esattamente il ricorso all’intelligenza artificiale annunciato dal Ministro per la Pubblica Amministrazione, con riguardo alle citate procedure di selezione; e, soprattutto, quale tutela si intenda assicurare ai candidati combinando software applicativi e competenze umane.
In termini giuridici, la preselezione dei candidati di un concorso mediante intelligenza artificiale configura un caso di processo decisionale automatizzato che produce conseguenze giuridiche nella vita delle persone.
Altri esempi potrebbero essere rappresentati dalla scelta dei beneficiari di case popolari, o i destinatari di contributi ed aiuti economici da parte dei Servizi Sociali. Fino ad arrivare, in teoria, all’emissione di una sentenza da parte di un Giudice.
L’algoritmo sostituisce a tutti gli effetti la decisione dell’uomo nella scelta tra una persona ed un’altra; oppure, nella valutazione di un comportamento tenuto da un soggetto umano. Tale processo è attuato utilizzando il metodo del machine learning: la riproposizione dei dati già immagazzinati, per il fatto di avere svolto selezioni analoghe in precedenza.
Un algoritmo, pertanto, è la diretta espressione della qualità dei dati su cui si basa.
Ma le limitate esperienze applicative a disposizione inducono a ritenere che, soprattutto nella fase iniziale, risulti molto alto il rischio di decisioni discriminatorie: ad esempio, negli Stati Uniti, per quanto riguarda la valutazione della possibilità di recidiva in caso di commissione di reati, era stato indicata come più probabile la recidiva per individui neri rispetto ai bianchi. Ma tale conclusione era basata soltanto sui dati di partenza, utilizzati per costruire l’algoritmo.
Oppure il caso delle assunzioni di Amazon, dove l’algoritmo finiva per creare discriminazioni di genere, scartando automaticamente i profili femminili, perché non erano presenti precedenti di reclutamento di candidati donne in determinati ruoli.
In Gran Bretagna, la protesta degli studenti ha portato alle dimissioni del Ministro dell’Istruzione, dopo il tentativo fallimentare del governo britannico di utilizzare un algoritmo in sostituzione degli esami pubblici di fine anno scolastico, che non si erano potuti svolgere a causa della pandemia. Molti studenti erano stati ingiustamente dequalificati (con gravi conseguenze, perché ciò ha determinato l’impossibilità di accedere alle migliori università per mancanza di titoli) a causa di errori nell’algoritmo: lo stesso, infatti, si fondava sui risultati degli anni precedenti, e non rifletteva invece il livello di effettiva conoscenza, abilità e comprensione degli studenti considerati.
Stimando che la tecnologia sarà impiegata in futuro in maniera sempre più preponderante, anche nei processi decisionali con conseguenze giuridiche nella sfera delle persone, è utile codificare i principi cardine che questi processi devono rispettare.
Molti di questi principi possono essere desunti dal vigente Regolamento sui dati personali GDPR.
1) Algoritmo conoscibile e comprensibile.
Innanzitutto è indispensabile che l’algoritmo che sostituisce la decisione dell’uomo sia conoscibile da parte dei destinatari delle decisioni finali. Il principio della conoscibilità si ricava dall’art. 13 comma 2 lett. f) e dall’art. 14 comma 2 lett. g) del GDPR, per i quali ciascuno ha diritto a conoscere l’esistenza di processi decisionali automatizzati che lo riguardano e a ricevere informazioni sulla logica utilizzata.
Le norme del GDPR vanno lette in combinato disposto con l’art. 42 della Carta Europea dei Diritti Fondamentali, che configura l’obbligo della Pubblica Amministrazione di consentire l’accesso ai documenti su cui si fonda la decisione e di rendere conoscibili le modalità di decisione.
In secondo luogo, l’algoritmo deve essere comprensibile: in altre parole, deve essere possibile comprendere la logica utilizzata dall’algoritmo e che questa sia fondata su un rigore evidente (e non, ad esempio, su logiche denominate fuzzy o sfumate).
2) Processo decisionale automatizzato non esclusivo.
Il processo decisionale automatizzato dovrebbe poi essere non esclusivo, ovvero dovrebbe essere integrato dal controllo dell’uomo. Il principio è stabilito dall’art. 22 del GDPR.
Il principio è stato recepito dalla giurisprudenza del TAR Lazio (sent. 10964/2019): la decisione annullava l’ordinanza di assegnazione dei docenti effettuata esclusivamente tramite intelligenza artificiale. Secondo i giudici amministrativi, non vi sarebbe stata vera e propria attività amministrativa “essendosi demandato ad un impersonale algoritmo lo svolgimento dell’intera procedura di assegnazione dei docenti alle sedi disponibili nell’organico dell’autonomia della scuola”.
3) Algoritmo non discriminatorio.
Le cautele per evitare decisioni discriminatorie sono contenute nell’art. 71 del GDPR. per tutelare i diritti fondamentali ed impedire effetti selettivi fondati su sesso, razza, etnia, opinioni politiche, religione, convinzioni personali, status genetico, status di salute.
“Al fine di garantire un trattamento corretto e trasparente nel rispetto dell’interessato, tenendo in considerazione le circostanze e il contesto specifici in cui i dati personali sono trattati, è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, metta in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e impedisca, tra l’altro, effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero un trattamento che comporti misure aventi tali effetti. Il processo decisionale automatizzato e la profilazione basati su categorie particolari di dati personali dovrebbero essere consentiti solo a determinate condizioni.”