«Sarà un incubo assoluto», afferma un dirigente di una grande azienda tecnologica americana. Si riferisce a un problema emergente per le imprese che utilizzano l’intelligenza artificiale: gli “agenti” IA – bot in grado di leggere, interpretare e agire in autonomia – consumano enormi quantità di potenza di calcolo e hanno iniziato a generare fatture astronomiche – scrive The Economist.
Con la loro proliferazione, il problema è destinato a crescere. Le grandi aziende utilizzano in genere centinaia di software diversi. Se ognuno di questi integrerà dei propri agenti (come è probabile che accada), i costi dell’IA rischieranno di andare totalmente fuori controllo.
La gestione del budget è la nuova vera preoccupazione per chi adotta l’IA. Fino a poco tempo fa, i dipendenti erano incoraggiati a fare un uso smodato di questa tecnologia, poiché manager e investitori vedevano la spesa come un indicatore di innovazione. Bruciare enormi quantità di token – i frammenti di testo elaborati dai modelli, usati come unità di misura per i prezzi – era diventato un vanto aziendale, ribattezzato dai tecnici “tokenmaxxing” . Le aziende mostravano persino l’uso dell’IA da parte del personale su classifiche interne; Meta, ad esempio, assegnava ai consumatori più accaniti titoli come “Leggenda del Token”.
L’IMPENNATA DELLE SPESE
Questi incentivi spiegano in parte il boom della spesa. Un altro fattore determinante è il cambiamento nel modo in cui le imprese utilizzano la tecnologia. Le applicazioni ad alto consumo di token, come i modelli di ragionamento avanzato e gli agenti autonomi, sono sempre più popolari. In alcuni casi, gli agenti creano a loro volta altri agenti, facendo lievitare ulteriormente i costi.
Ramp, un fornitore di carte di credito aziendali che analizza i dati delle transazioni dei propri clienti, stima che la spesa complessiva per l’IA sia cresciuta di 13 volte nell’ultimo anno. Ad aprile, Uber ha dichiarato di aver esaurito l’intero budget annuale destinato all’IA in soli quattro mesi. Altre aziende registrano problemi simili: secondo quanto riferito, una di esse avrebbe speso ben 500 milioni di dollari in token IA in un solo mese. Lo stesso Sam Altman, capo di OpenAI, ha definito i costi crescenti per i clienti come «un problema enorme».
Per ora, il fenomeno riguarda soprattutto un gruppo ristretto. Chi spende di più sono le aziende tecnologiche, sia perché hanno adottato la tecnologia per prime, sia perché l’IA è particolarmente efficiente nella scrittura di software. Ramp calcola che l’1% dei clienti che spendono di più per l’IA arriva a pagare in media circa 7.450 dollari al mese per singolo dipendente. In confronto, la cifra mediana per un cliente standard di Ramp è di appena 11 dollari. Sebbene i costi dei grandi consumatori di IA siano inferiori rispetto all’assunzione di uno sviluppatore a San Francisco, superano già di gran lunga lo stipendio di uno sviluppatore a Delhi.
LA FINE DEL “TOKENMAXXING”
La risposta delle aziende non si è fatta attendere. Il tokenmaxxing è ormai un ricordo: realtà come Meta e Amazon hanno rimosso le classifiche interne sul consumo di dati. Molte aziende stanno valutando con più attenzione quale modello utilizzare, dato che molte mansioni quotidiane non richiedono l’uso di modelli all’avanguardia e costosi. Gli esperti del settore fanno notare che il modello Sonnet di Anthropic (meno avanzato) può costare un ventesimo rispetto al top di gamma Opus. Modelli open-source come Kimi, sviluppato dalla startup cinese Moonshot AI, possono costare un ventesimo rispetto a quest’ultimo.
Un altro approccio è l’introduzione di tetti di spesa (spending cap). Uber ha imposto ai propri dipendenti un limite di 1.500 dollari di token al mese per ogni strumento di programmazione. La scelta su come allocare i token dipende da dove l’IA può generare il valore maggiore: per questo motivo la maggior parte delle aziende assegnate i budget più elevati alle divisioni chiave, come i reparti di ingegneria e sviluppo.
Nel frattempo, alcuni fornitori di software stanno sperimentando nuovi modelli di tariffazione basati sui risultati effettivi per rassicurare i clienti. Intercom, ad esempio, offre un servizio in cui il cliente paga esclusivamente per le richieste che l’agente di assistenza IT riesce a risolvere con successo. Anche i grandi fornitori di servizi cloud hanno lanciato strumenti di gestione dei costi e sistemi per reindirizzare automaticamente le richieste verso il modello più economico ed efficiente.
Per i produttori di modelli di intelligenza artificiale, l’equilibrio è più delicato. Il loro obiettivo è spingere i clienti a usare quanti più gettoni possibili, senza però spaventarli con i prezzi. Attualmente, i costi dei servizi IA sono ampiamente sussidiati dai laboratori di sviluppo; la strategia di OpenAI per sottrarre clienti ad Anthropic prevede, secondo le indiscrezioni, drastici tagli ai listini. Tuttavia, i creatori di modelli dovranno prima o poi iniziare a fare profitti, il che comporterà un inevitabile aumento dei prezzi. La pressione in questo senso è destinata ad aumentare entro la fine dell’anno, quando è previsto il debutto in borsa sia di Anthropic che di OpenAI. Di conseguenza, le aziende clienti farebbero bene a prepararsi a bollette IA ancora più salate.
(Estratto dalla rassegna stampa estera a cura di eprcomunicazione)
