Il peso dei bias
Nonostante i progressi tecnologici, la creazione di sistemi privi di pregiudizi sembra ancora un obiettivo lontano. Cosa fare?
A cura di Skilla
I bias cognitivi sono automatismi mentali che ci permettono di prendere decisioni rapidamente, spesso però a scapito della precisione e della razionalità. Queste “scorciatoie” facilitano la gestione delle informazioni, ma possono portare a valutazioni errate, pregiudizi e stereotipi. I bias possono influenzare qualsiasi ambito della nostra vita, inclusi la ricerca scientifica e la raccolta dei dati. Un caso emblematico è quello dei trial clinici dei farmaci: fino al 1993, per proteggere la fertilità delle donne e evitare test su possibili soggetti in gravidanza, le donne erano generalmente escluse dai trial clinici. Si pensava che il corpo femminile fosse solo una variante di quello maschile e che i risultati ottenuti fossero applicabili a entrambi i sessi. Oggi sappiamo che il corpo delle donne presenta differenze significative rispetto a quello degli uomini. Questa esclusione ha portato a una raccolta di dati incompleta e non rappresentativa, compromettendo così la sicurezza e l’efficacia dei farmaci per le donne.
Nel contesto dell’IA, il bias algoritmico si riferisce a risultati distorti dovuti a pregiudizi umani presenti nei dati di training originali o nell’algoritmo stesso. Il bias si verifica quando un algoritmo discrimina ingiustamente determinate persone o gruppi.
L’UNESCO ha recentemente affrontato il tema dei bias di genere negli LLM (modelli linguistici di grandi dimensioni), concentrandosi sui modelli GPT-2 e ChatGPT di OpenAI e Llama 2 di Meta. Nel report “Challenging Systematic Prejudices: An Investigation into Bias Against Women and Girls in Large Language Models”, è stata confermata la presenza di bias di genere in questi modelli. Sottoposti ad esperimenti come la creazione di associazioni tra termini o il completamento di frasi, i modelli hanno mostrato risposte con bias in percentuali differenti.
Il report cita anche il Gender Social Norms Index del 2023 dell’UNDP (United Nations Development Programme), che quantifica i pregiudizi contro le donne e copre l’85% della popolazione mondiale. L’indice rivela che quasi 9 persone su 10, tra uomini e donne, nutrono pregiudizi nei confronti delle donne. È quindi facile comprendere come i dati di addestramento dell’IA possano contenere pregiudizi di genere.
I bias nei dati riguardano anche le persone con disabilità. Secondo un rapporto del Relatore Speciale sui Diritti delle Persone con Disabilità delle Nazioni Unite, Gerard Quinn, le persone con disabilità sono storicamente poco presenti nei dati utilizzati per addestrare i sistemi di Intelligenza Artificiale. Questa mancanza di rappresentanza nei dati di addestramento può far sì, ad esempio, che i sistemi di reclutamento, basandosi su tali dati, tendano a scartare più frequentemente le loro candidature, creando barriere all’ingresso nel mercato del lavoro.
L’OECD ha messo in evidenza un altro fattore critico nel rapporto tra IA e persone con disabilità: lo scarso coinvolgimento degli utenti finali. La mancanza di partecipazione degli utenti nella creazione di sistemi efficaci porta allo sviluppo di strumenti inadeguati, non rispondenti ai bisogni reali o difficili da integrare con le politiche e i sistemi esistenti.
Nel report dell’UNESCO citato sopra, emerge che la principale differenza tra gli LLM considerati è l’essere stati sottoposti o meno a un processo di fine-tuning con feedback umano. I risultati mostrano che i modelli non sottoposti a questo processo hanno ottenuto risultati significativamente peggiori.
L’intervento e il coinvolgimento umano emergono dunque come fattori cruciali.
Nel 2022, il World Economic Forum ha pubblicato un documento che promuoveva una serie di linee guida per adottare un approccio all’IA basato sull’”Inclusion by Design”. Questo processo prevede che tutti i sistemi di IA siano progettati fin dall’inizio per essere inclusivi ed equi, grazie alla partecipazione di tutti gli stakeholder.
Nonostante questo sia l’approccio ideale e auspicabile, gli studi e i report analizzati mostrano una realtà diversa. Oggi, molti sistemi di IA, tra cui gli LLM considerati dall’UNESCO, sono già largamente diffusi e utilizzati. Modificare i dataset di addestramento non è un’opzione facilmente percorribile, poiché richiederebbe di riaddestrare i modelli da capo, un processo lungo e costoso.
Di conseguenza, non possiamo aspettarci che un approccio inclusivo emerga spontaneamente dagli algoritmi. Non possiamo rimanere in attesa dell’algoritmo “perfetto”; dobbiamo agire per contrastare le disuguaglianze e cogliere l’emergere dei bias come un’opportunità per riflettere sulle nostre convinzioni. Questo tema è al centro dell’attenzione di numerosi progetti di ricerca e analisi. Ad esempio, il progetto BIAS, finanziato dalla Commissione Europea, ha come obiettivo principale identificare e mitigare il pregiudizio basato sulla diversità nei sistemi di Intelligenza Artificiale nel mercato del lavoro. Il progetto non solo studia il fenomeno ma cerca di definire piani concreti per affrontarlo.
Di Arianna Meroni
