2024: l’anno dell’intelligenza utente degli LLM
2024: l’anno dell’intelligenza utente degli LLM

In breve
→ Questo articolo è stato scritto da Julien Roux, co-fondatore di Nebuly, nell'aprile 2024 — quando l'adozione dell'IA aziendale stava passando dai primi adottatori (early adopters) alla prima maggioranza (early majority). → ChatGPT ha raggiunto 100 milioni di utenti in due mesi, l'adozione di un prodotto più rapida della storia. Entro la fine del 2024, l'80% delle aziende Fortune 2000 disponeva di una leadership dedicata all'IA. La tecnologia era passata dal clamore del momento alla realtà della produzione. → Il passo logico successivo — capire se l'IA stia effettivamente aiutando gli utenti — segue la stessa traiettoria della web analytics alla fine degli anni '90. La scommessa di Urchin nel 1995 era semplice: ogni azienda con un sito web ha bisogno di sapere cosa succede su di esso. Quella scommessa è diventata Google Analytics. → La stessa scommessa si applica agli agenti IA: ogni organizzazione che utilizza l'IA ha bisogno di sapere se funziona, cosa chiedono gli utenti e dove l'esperienza non è all'altezza. → La previsione contenuta in questo post — ovvero che la user intelligence per l'IA diventerà un'infrastruttura essenziale entro 3-5 anni — si sta ora concretizzando. Le organizzazioni che anticipano questa curva sono quelle che stanno costruendo l'infrastruttura di misurazione fin dal primo giorno.
LLM, dal clamore alla realtà
30 novembre 2022. OpenAI lancia ChatGPT, rendendo finalmente accessibile a un pubblico di consumatori più ampio una tecnologia frutto di un lavoro decennale. ChatGPT è diventato il prodotto più veloce di sempre a raggiungere i 100 milioni di utenti (gennaio 2023, solo 2 mesi!), e nel percorso OpenAI ha raggiunto circa 2 miliardi di dollari di ARR entro dicembre 2023.
Mentre gli utenti si entusiasmavano per un'interfaccia conversazionale che funziona (sì, non quei chatbot di assistenza clienti senza speranza che abbiamo usato tutti), le aziende hanno dovuto fare i conti con il fatto che gli LLM erano qui per restare. Di conseguenza, aziende di tutte le dimensioni e settori hanno iniziato a lavorare con gli LLM, comprese molte che non verrebbero considerate "early adopter" secondo la "Diffusione delle innovazioni" di Rogers.

Facciamo un salto in avanti fino a oggi, e leggiamo continuamente di LLM che entrano in produzione. Le posizioni di "Head of AI" sono triplicate dal 2018 ed entro la fine dell'anno circa l'80% delle aziende Fortune 2000 avrà una leadership dedicata all'IA. La maggior parte delle aziende impiega 18-24 mesi per adottare nuove tecnologie. I recenti annunci di LLM in produzione rappresentano il primo gruppo di "Early Adopter", secondo la classificazione di Rogers. Novembre 2024 segnerà i 2 anni dal lancio di ChatGPT, e stiamo vedendo i segnali di un'adozione molto più ampia da parte della "Early Majority" verso la fine dell'anno.
E adesso? La user intelligence per gli LLM.
Ogni giorno, milioni di utenti interagiscono con gli LLM in vari modi.
Qual è il prossimo passo? Il buon senso suggerisce di assicurarsi che questi utenti abbiano un'ottima esperienza. L'LLM sta davvero aiutando gli utenti a risolvere i loro problemi?
Di quanti prompt ha bisogno l'utente medio per arrivarci?
E, a proposito, di cosa parla la maggior parte degli utenti in chat?

Se sembra un'ovvietà, è perché lo è.
Imparare dal comportamento degli utenti esistenti è il modo più rapido per migliorare il tuo prodotto nel tempo e generare un ROI per il business. Ma se sei ancora scettico, torniamo indietro nel tempo alla fine degli anni '90 e guardiamo cosa è successo alla web analytics.
Cosa abbiamo imparato dalla Web Analytics
La prima pagina web in assoluto è andata online il 6 agosto 1991. Era dedicata alle informazioni sul progetto World Wide Web e fu creata da Tim Berners-Lee. Nel 1995, il numero di siti web aveva raggiunto quota 23.500 e una piccola startup di San Diego, Urchin, fece una scommessa semplice: ogni azienda con un sito web ha bisogno di sapere cosa succede su quel sito per poterlo migliorare.

Secondo il fondatore di Urchin, Scott Crosby: "Honda.com non era in grado di elaborare il registro degli accessi Apache di ogni giorno prima della fine della giornata stessa, condannandoli a rimanere sempre più indietro". Naturalmente, la stessa logica si applica agli LLM. Se non altro, questo è ancora più vero per gli LLM che per i siti web, perché gli utenti non si limitano a fare clic su pulsanti, ma scrivono testo (non strutturato).
Se gli utenti del tuo LLM generano più interazioni di quante il tuo team di AI/Product/Customer Success/Marketing riesca a leggere – per non parlare di analizzare – in un giorno, come farai a migliorare l'esperienza d'uso dell'LLM?

Quindi, cosa è successo a quella startup chiamata Urchin?
Molto probabilmente stai ancora usando il loro prodotto. Dopo aver cavalcato con successo l'onda di Internet, sono stati acquisiti da Google nel 2005 e ribattezzati "Google Analytics". A quel tempo, c'erano 65 milioni di siti web, ovvero 2.000 volte più di quando Urchin aveva iniziato.
È lecito chiedersi dove saremmo oggi senza Urchin. La mia opinione è che avremmo siti web meno intuitivi, più brutti e, di conseguenza, non li useremmo così tanto.
User intelligence per gli LLM
Se la storia della web analytics può farci da guida, ecco cosa accadrà con gli LLM:
1. Nei prossimi 3-5 anni, la maggior parte delle aziende creerà le proprie interfacce di IA conversazionale, proprio come ogni azienda oggi ha il proprio sito web.
2. La user intelligence e l'analitica per gli LLM saranno essenziali per consentire alle aziende di rimanere al passo con i tempi e continuare a offrire un'esperienza eccellente agli utenti e un buon ROI agli investitori.
Se stai già lavorando con gli LLM e stai pensando a come applicare la user intelligence nella tua organizzazione, prenota un incontro con noi per saperne di più.


Resta aggiornato su ciò che stiamo imparando, costruendo e osservando mentre i team enterprise distribuiscono e misurano gli agenti AI in produzione.


