Come misurare i (reali) progressi dell’intelligenza artificiale? Report Economist

I leader dei tre principali laboratori di intelligenza artificiale (AI) promettono grandi cose, e in tempi brevi. Sam Altman, il capo di OpenAI, ritiene che il prossimo anno i computer saranno in grado di fornire “intuizioni innovative”. Dario Amodei, che gestisce Anthropic, afferma che una “potente IA” (quella che altri chiamano AGI, intelligenza artificiale generale) potrebbe arrivare nello stesso lasso di tempo. Demis Hassabis di DeepMind ha ipotizzato che “entro il prossimo decennio circa” l’IA potrebbe curare tutte le malattie – scrive l’Economist.

L’IMPORTANZA DI PREVISIONI REALISTICHE

Alcune delle affermazioni più ambiziose potrebbero essere state fatte con un occhio di riguardo al marketing. Tuttavia, secondo Ezra Karger, economista della Federal Reserve Bank di Chicago, è importante avere un’idea reale della probabile velocità di sviluppo dell’AI. Quando lo spettro dei risultati plausibili include una parte apprezzabile di attività impiegatizie automatizzate o un decimo di tutta l’elettricità utilizzata in America per l’addestramento e l’implementazione dell’AI, è importante fare previsioni accurate.

NASCITA E OBIETTIVI DEL PANEL LEAP

Karger è responsabile di un’iniziativa, non correlata al suo lavoro quotidiano, volta a elaborare tali previsioni digitali. Il Longitudinal Expert AI Panel (Leap) si propone di fare tre cose. In primo luogo, invece di valutare affermazioni vaghe su concetti come l’AGI, offre ipotesi specifiche e verificabili. Quando le auto a guida autonoma rappresenteranno il 20% dei viaggi con servizi di ride-hailing negli Stati Uniti? Quale percentuale dell’elettricità del Paese sarà utilizzata per l’IA entro il 2040? Quali saranno i punteggi di riferimento per i modelli di IA open source e proprietari nel 2025, 2027 e 2030?

GLI ESPERTI COINVOLTI NEL PROGETTO

In secondo luogo, il team di Karger ha posto queste domande a quasi 350 esperti di molti settori. Oltre ai ricercatori aziendali di IA, Leap include informatici accademici, economisti e politici. Include anche i “superforecaster”, un gruppo di profeti, alcuni dilettanti e altri professionisti, la cui competenza non riguarda un settore specifico, ma consiste nell’essere più accurati di altri esperti nel prevedere il futuro. Infine, il progetto porrà le stesse domande con il passare degli anni. L’idea è quella di costruire un’idea di come la speranza – e l’entusiasmo – intorno all’IA cresca e diminuisca.

I PRIMI RISULTATI DELLE PREVISIONI

I risultati del primo ciclo, pubblicati il 10 novembre, suggeriscono che gli effetti dell’IA stanno appena iniziando a farsi sentire. La previsione mediana indica che entro il 2030 oltre il 18% delle ore lavorative americane sarà assistito dall’IA, rispetto al 2% di settembre di quest’anno. Gli analisti prevedono che entro lo stesso anno l’IA rappresenterà circa il 7% del consumo energetico americano.

ASPETTATIVE E TEMPI DI SVILUPPO DELL’IA

Gli analisti dubitano che l’IA soddisferà le aspettative più ambiziose dei suoi sostenitori, o almeno non così rapidamente come essi sostengono. In media, gli esperti ritengono che ci sia solo una possibilità su cinque di sviluppare la “potente IA” di Amodei entro il 2030. Ma entro il 2040, prevedono che l’IA sarà importante per questo secolo quanto lo sono state l’elettricità o l’automobile per quello precedente, con un punteggio di otto su una scala di dieci punti ideata dallo statistico Nate Silver per misurare l’impatto delle diverse invenzioni. Ritenevano inoltre che ci fosse una probabilità di quasi uno su tre che l’IA potesse raggiungere almeno il livello nove, dove si sarebbe affiancata a tecnologie come la stampa come tecnologia che “ha cambiato il corso della storia umana”.

I RAPIDI PROGRESSI TECNOLOGICI

D’altra parte, i rapidi progressi in questo campo hanno già colto di sorpresa anche gli esperti. Quando ad aprile è stata completata la ricerca sul campo per il rapporto attuale, il punteggio massimo ottenuto da un sistema di IA in una difficile sfida matematica chiamata FrontierMath era del 19%. La stima mediana degli esperti per la fine del 2025 era del 31%. In uno studio parallelo in cui sono state poste le stesse domande al grande pubblico, la stima mediana era del 27%. Ma ad agosto Google ha annunciato un punteggio del 29%, superando molte previsioni, e con ancora quattro mesi a disposizione per migliorare ulteriormente. […]

IL VALORE DELLE PREVISIONI A BREVE TERMINE

Uno dei vantaggi delle domande con scadenze brevi, afferma Karger, è che possono aiutare a individuare rapidamente i migliori previsori. Le loro previsioni possono quindi avere un peso maggiore in futuro. I migliori pronostici, dice, sono spesso quelli che notano incongruenze nelle loro stesse previsioni: l’affermazione che l’uso di elettricità da parte dell’IA aumenterà vertiginosamente, ad esempio, potrebbe essere incompatibile con la previsione di un impatto minimo sull’occupazione. Alla fine, spera Karger, le tecniche sviluppate dal panel di Leap saranno utilizzate insieme alla ricerca economica standard nel suo lavoro quotidiano per aiutare a pianificare un mondo che potrebbe essere molto diverso da quello odierno.