L’AI Act, la prima legislazione al mondo sull’intelligenza artificiale (IA) approvata dall’Unione europea lo scorso marzo, ha l’obiettivo di “limitare i rischi e aumentare le opportunità” di questa tecnologia.
Stando però a un nuovo strumento progettato dalla startup svizzera LatticeFlow AI, i modelli di intelligenza artificiale generativa (IAg) sviluppati da grandi aziende tecnologiche quali Meta e OpenAI non rispettano le normative europee in alcuni settori chiave come la cyber resilience e l’output discriminatorio.
LO STRUMENTO CHE VALUTA I MODELLI DI IAg
L’Unione europea, nonostante si sia dotata dell’AI Act, sta ancora cercando di stabilire come verranno applicate le sue norme agli strumenti di IA generativa come ChatGPT. Un codice di condotta, elaborato da esperti, che disciplini la tecnologia dovrebbe arrivare entro la primavera del 2025, ma intanto la startup informatica LatticeFlow AI – insieme agli istituti di ricerca ETH di Zurigo e INSAIT di Sofia – ha sviluppato un test che valuta i modelli di IAg rispetto ai criteri previsti dalla normativa europea.
“L’AI Act dell’Ue è un passo significativo verso uno sviluppo responsabile dell’IA, ma manca di una chiara interpretazione tecnica, rendendo difficile la valutazione della conformità dei modelli”, dichiarano gli esperti che hanno progettato il test. Il loro lavoro, affermano, presenta un framework completo che consiste nell’interpretazione tecnica della legge europea sull’IA – traducendo i suoi ampi requisiti normativi in requisiti tecnici misurabili, con particolare attenzione ai modelli linguistici di grandi dimensioni (LLM) – e considera una suite di benchmark open source incentrata sulla legge.
IL TEST
Il nuovo strumento, accolto con favore dai funzionari dell’Unione europea, ha testato i modelli di IA generativa sviluppati da grandi aziende tecnologiche in varie categorie, contenute nell’AI Act, che entrerà gradualmente in vigore nei prossimi due anni. A ognuno di essi viene poi assegnato un punteggio nelle diverse aree, che comprendono, per esempio, la robustezza tecnica e la sicurezza. Questo dovrebbe servire alle aziende per calibrare le proprie risorse e destinarne di maggiori laddove sono più carenti. La non conformità alla legge sull’IA prevede infatti multe per 35 milioni di euro o pari al 7% del fatturato annuo globale.
Il test, presto disponibile gratuitamente per gli sviluppatori che potranno testare online la conformità dei loro modelli, è stato progettato in linea con il testo dell’AI Act e sarà esteso per includere ulteriori misure di applicazione man mano che verranno introdotte.
PREGIUDIZI, CYBERATTACCHI, COPYRIGHT E PRIVACY
In generale, Reuters, che ha visionato i risultati, riferisce che la classifica pubblicata mercoledì da LatticeFlow mostra che i modelli sviluppati da Alibaba, Anthropic, OpenAI, Meta e Mistral hanno ricevuto tutti un punteggio medio di 0,75 o superiore in una scala che va da 0 a 1. Tuttavia, i risultati definiti “discriminatori” sono stati un problema persistente nello sviluppo dei modelli di IAg, in quanto riflettono i pregiudizi umani relativi al genere, all’etnia e ad altre aree.
Anche la resilienza ai cyberattacchi è un’area di particolare preoccupazione, con molti modelli che hanno ottenuto un punteggio inferiore al 50%.
In merito a copyright e privacy, il Ceo e cofondatore di LatticeFlow, Petar Tsankov, ha riferito che “Per quanto riguarda il diritto d’autore, la sfida è che gli attuali benchmark controllano solo i libri protetti da copyright. Questo approccio ha due limiti principali: (i) non tiene conto delle potenziali violazioni del copyright che coinvolgono materiali diversi da questi libri specifici e (ii) si basa sulla quantificazione della memorizzazione del modello, che è notoriamente difficile”. E per la privacy “la sfida è simile: il benchmark cerca solo di determinare se il modello ha memorizzato informazioni personali specifiche”.
CHI FA PEGGIO (E CHI MEGLIO)
Nel testare l’output discriminatorio, secondo quanto riportato da Reuters, lo strumento di LatticeFlow ha assegnato al modello “GPT-3.5 Turbo” di OpenAI un punteggio pari a 0,46. Per la stessa categoria, il modello “Qwen1.5 72B Chat” di Alibaba Cloud ha ricevuto solo un punteggio di 0,37.
Per quanto riguarda invece il “prompt hijacking”, un tipo di attacco informatico in cui gli hacker mascherano un prompt dannoso come legittimo per estrarre informazioni sensibili, il test ha assegnato al modello “Llama 2 13B Chat” di Meta un punteggio di 0,42. Nella stessa categoria, il modello “8x7B Instruct” della startup francese Mistral ha ricevuto 0,38. “Mentre Anthropic e OpenAI hanno allineato con successo i loro modelli (chiusi) per contrastare jailbreak e iniezioni di prompt, fornitori open-source come Mistral hanno posto meno enfasi su questo aspetto”, ha spiegato Tsankov.
Infine, si distingue in senso positivo “Claude 3 Opus”, un modello sviluppato da Anthropic, che ha ricevuto il punteggio medio più alto, 0,89.
“L’UE sta ancora definendo tutti i parametri di conformità, ma possiamo già notare alcune lacune nei modelli – ha dichiarato Tsankov -. Con una maggiore attenzione all’ottimizzazione per la conformità, crediamo che i fornitori di modelli possano essere ben preparati a soddisfare i requisiti normativi”.
