Storie di adozione dell’AI #1: cosa hanno rivelato le analisi degli utenti sul rollout di un copilota GenAI
Storie di adozione dell’AI #1: cosa hanno rivelato le analisi degli utenti sul rollout di un copilota GenAI
In breve
→ Un'impresa globale di macchine agricole ha distribuito un copilot AI per supportare la sua rete di concessionari, concentrandosi sulle informazioni di manutenzione tecnica e sull'adozione a livello regionale. → Nel giro di 40 giorni, un gruppo di concessionari contava più di 400 utenti unici — ma l'adozione variava significativamente tra le diverse filiali dello stesso gruppo. Filtrando per filiale è stato possibile individuare esattamente dove l'adozione si era bloccata e dove era necessario un follow-up proattivo. → I tassi di errore erano più elevati in America Latina e in Europa rispetto al Nord America. Filtrando i dati delle conversazioni per lingua è emersa la causa: le query non in lingua inglese presentavano tassi di errore notevolmente più alti. Il problema era legato alle performance linguistiche, non al coinvolgimento regionale. → Queste informazioni sono emerse grazie a pochi e rapidi filtri sui dati delle conversazioni — senza dashboard che riportano solo l'uptime tecnico e senza aspettare settimane per una revisione manuale. Il team ha potuto agire il giorno stesso. → Questo caso illustra ciò che la visibilità comportamentale rende possibile: non solo sapere che il sistema è attivo, ma capire chi lo sta usando, come e dove sta fallendo.
Un nostro cliente, un'impresa globale nel settore delle macchine agricole, ha implementato un copilota IA per supportare la sua rete di concessionari. L'obiettivo era migliorare l'accesso alle informazioni tecniche di manutenzione e incrementare l'adozione dell'IA in tutte le regioni.
Dopo il lancio, un responsabile interno voleva saperne di più.
“Quanto sta usando effettivamente l'applicazione questo singolo concessionario?”
Utilizzando la piattaforma di AI user analytics di Nebuly, il team ha filtrato l'utilizzo in base al nome del gruppo di concessionari.
Uno in particolare si è distinto. In soli 40 giorni, quel concessionario ha registrato più di 400 utenti unici, un forte segnale di adozione dell'IA.
Tuttavia, l'utilizzo non era uniforme in tutte le sedi.
Alcune filiali erano più attive di altre.
Così il team ha approfondito l'analisi. Un campo personalizzato ha permesso loro di filtrare l'utilizzo per singola filiale, aiutandoli a individuare dove l'adozione fosse elevata e dove invece si fosse bloccata.
In questo modo hanno potuto contattare direttamente le filiali meno attive per capire cosa ostacolasse l'utilizzo.
Tassi di errore più elevati in alcune regioni
Una domanda successiva è sorta dopo aver notato che il tasso di errore dell'assistente era più alto in America Latina ed Europa rispetto al Nord America.
Utilizzando Nebuly, il team ha filtrato i dati sulle prestazioni in base alla lingua. È emerso chiaramente che le query non in lingua inglese presentavano tassi di errore decisamente superiori.
Questa intuizione ha ridefinito le loro priorità, consentendo loro di concentrarsi sul miglioramento delle prestazioni multilingue.
Cosa hanno imparato
- Un gruppo di concessionari ha registrato un'adozione fortissima
- Alcune filiali non utilizzavano affatto l'assistente
- I tassi di errore più elevati erano legati alla lingua, non alla posizione geografica
Questi dati sono emersi da pochi e rapidi filtri. 5 minuti. Nessuna congettura. Nessuna attesa per dashboard che mostrano solo il tempo di attività tecnico.
Il team ha ottenuto una visione chiara di dove l'adozione fosse solida, dove si fosse arrestata e di come la lingua influenzasse le prestazioni. Questa visibilità ha contribuito a definire i passi successivi, sia nel prodotto che nel piano di implementazione.
Nebuly
Nebuly è la piattaforma di ROI per l'IA aziendale. Si collega agli agenti IA su cui si basa la tua azienda, agli assistenti con cui interagiscono i tuoi clienti e agli strumenti che i tuoi dipendenti usano ogni giorno, tra cui Claude, ChatGPT e Copilot, e traduce quell'attività in valore aziendale. Quanto tempo viene risparmiato nei vari team. Quale fatturato viene influenzato dalla tua IA. Come si presentano in pratica l'adozione e la competenza nell'IA, tra dipartimenti e aree geografiche. Tutto aggregato a livello organizzativo, mai legato ai singoli individui.
Se hai bisogno di capire chiaramente cosa stia effettivamente producendo il tuo investimento nell'IA, prenota una demo.
Domande frequenti
In che modo l'uso dei filtri per ramo o lingua sui dati di conversazione ti permette di individuare i pattern di adozione?
Filtrare i dati delle conversazioni per dimensione organizzativa (filiale, area geografica, lingua, dipartimento) trasforma i dati di utilizzo aggregati in segnali specifici e azionabili. Un tasso di adozione globale ti dice se le persone stanno usando lo strumento. Il filtro a livello di filiale ti dice quali gruppi specifici lo hanno adottato e quali no, consentendoti di mirare in modo preciso follow-up e supporto. Il filtro per lingua rivela se le differenze di performance sono dovute alle capacità multilingue del modello piuttosto che al comportamento dell'utente, indirizzandoti verso un tipo di soluzione completamente diverso.
Perché l'analisi del tasso di errore per lingua è importante per le distribuzioni globali di IA?
Gli agenti IA addestrati principalmente su dati in inglese offrono spesso prestazioni meno accurate per le query in altre lingue. Questo non è immediatamente evidente dalle metriche globali sui tassi di errore, che fanno una media di tutte le lingue e possono mascherare prestazioni scadenti in contesti linguistici specifici. Quando un'azienda globale registra tassi di errore più elevati in determinate regioni, l'ipotesi intuitiva è che dipenda dal coinvolgimento regionale o da differenze nei flussi di lavoro. L'analisi a livello linguistico rivela invece spesso che il vero motore è la performance del modello sulle query non in inglese: un problema tecnico con una soluzione specifica e attuabile.
Che cosa mostra questo caso di studio sulla differenza tra il monitoraggio del sistema e la conversation analytics?
Il monitoraggio del sistema ti dice se l'IA è in funzione. La conversation analytics ti dice come le persone la stanno usando e dove non risponde alle loro esigenze. In questo caso, il sistema funzionava correttamente in ogni area geografica. I tassi di errore, la variazione dell'adozione tra le filiali e i divari di prestazioni linguistiche erano del tutto invisibili al monitoraggio dell'infrastruttura. Sono diventati visibili in pochi minuti filtrando i dati delle conversazioni, consentendo un'azione immediata e mirata invece di settimane di indagini manuali.
Resta aggiornato su ciò che stiamo imparando, costruendo e osservando mentre i team enterprise distribuiscono e misurano gli agenti AI in produzione.