Da prompt migliori a operatori migliori: la strada da percorrere per misurare la competenza nell'IA

Due dipendenti usano lo stesso assistente AI ogni giorno. Entrambi hanno completato la stessa formazione. Entrambi appaiono come utenti attivi nella dashboard di adozione.

Uno fornisce un'istruzione vaga, passa diversi turni a correggere l'output e finisce comunque per riscriverne manualmente la maggior parte. L'altro spiega l'obiettivo, fornisce il giusto contesto, definisce come deve essere un buon risultato e ottiene rapidamente un output utile.

La maggior parte dei sistemi aziendali considererebbe questi dipendenti come utenti di AI di pari successo. Ma non è così.

I team HR e L&D possono formare i dipendenti, tracciare la partecipazione, monitorare il completamento dei corsi ed eseguire valutazioni. L'investimento è già sostanziale. Nello studio aziendale del 2025 condotto da Wharton Human-AI Research e GBK Collective su 801 decisori, quasi due terzi delle aziende ha stanziato un budget di almeno 5 milioni di dollari per la GenAI, con la formazione dei dipendenti che rappresenta in media il 16% dei budget per la GenAI. Eppure, anche tra le organizzazioni che misurano il ROI della GenAI, solo il 42% monitora i cambiamenti nelle prestazioni dei dipendenti dopo la formazione.

Questo lascia aperta una domanda molto più difficile:

I dipendenti sono migliorati concretamente nell'uso dell'AI nel loro lavoro quotidiano?

Il completamento del corso mostra l'esposizione. Un quiz mostra la memorizzazione. Nessuno dei due mostra se i dipendenti ora definiscono i compiti in modo più chiaro, forniscono un contesto migliore, lavorano in modo più efficace con l'AI o ottengono risultati migliori.

Questo è il divario che il modulo AI Proficiency di Nebuly è progettato a colmare. Analizzando le tracce anonimizzate delle interazioni e delle attività reali con l'AI, Nebuly misura come le competenze di AI si manifestano nel lavoro effettivo.

Il passaggio è semplice: dal misurare la formazione e l'adozione dell'AI al misurare il comportamento e il miglioramento dell'AI.

Cosa misuriamo oggi

L'attuale metodologia di AI Proficiency di Nebuly analizza il modo in cui i dipendenti lavorano con l'AI in situazioni reali, anziché le loro prestazioni in un'aula di formazione.

Prende in esame a tutto tondo comportamenti come la chiarezza con cui un utente imposta un compito, se fornisce un contesto utile, l'efficacia con cui guida l'interazione e se la conversazione si muove verso un risultato utile.

Il KPI principale è l'AI Proficiency Score, integrato da gruppi di competenza degli utenti, da Novizio ad Esperto.

Insieme, questi segnali consentono di vedere come cambiano le competenze di AI all'interno dell'organizzazione: per utente, team, dipartimento e nel tempo.

Questo aiuta le aziende a rispondere a domande pratiche:

• I dipendenti stanno effettivamente migliorando dopo la formazione sull'AI?

• In quali aree sono necessari ulteriore supporto o coaching?

• Quali team stanno sviluppando pratiche di lavoro con l'AI più solide?

• I livelli di competenza stanno migliorando nell'arco di 30, 60 o 90 giorni?

Puoi leggere di più sulla metodologia attuale nella documentazione di Nebuly AI Proficiency.

Misurare l'apprendimento applicato, non solo la formazione

La competenza nell'uso dell'AI è in ultima analisi un problema di cambiamento comportamentale.

La maggior parte dei sistemi di apprendimento può mostrare chi ha partecipato a un corso, lo ha completato o ha superato un test. Ciò che è più difficile vedere è se le persone abbiano effettivamente cambiato il loro modo di lavorare.

L'AI rende quel comportamento più osservabile. Prompt, follow-up, sessioni, compiti e pattern di interazione lasciano una traccia di come i dipendenti applicano ciò che sanno nella pratica.

Questo si collega naturalmente al modello di apprendimento 70-20-10, nato dalla ricerca Lessons of Experience del Center for Creative Leadership e successivamente codificato da Michael Lombardo e Robert Eichinger. Il modello sottolinea che gran parte dello sviluppo avviene attraverso l'esperienza sul lavoro e l'apprendimento dagli altri, non solo tramite la formazione formale.

Tracciando il comportamento reale con l'AI nel tempo, le aziende possono vedere se le competenze stanno migliorando, indipendentemente da dove provenga l'apprendimento, e se tale miglioramento si stia diffondendo in tutta l'organizzazione.

Dalla qualità dei prompt alle 4D della fluency nell'AI

La qualità dei prompt è un punto di partenza utile, ma cattura solo una parte di quanto bene una persona lavori con l'AI. Una visione più ampia deriva dal 4D AI Fluency Framework di Anthropic, sviluppato da Rick Dakan e Joseph Feller, che descrive quattro competenze interconnesse:

• Delegation (Delega) — decidere quale lavoro debba essere svolto da un essere umano, cosa debba essere fatto dall'AI e come dividere il lavoro.

• Description (Descrizione) — comunicare efficacemente all'AI obiettivi, contesto, vincoli e aspettative.

• Discernment (Discernimento) — valutare criticamente gli output dell'AI, identificare il contesto mancante, verificare le affermazioni importanti e sfidare i ragionamenti deboli.

• Diligence (Diligenza) — utilizzare l'AI in modo responsabile, trasparente, sicuro e con un'adeguata responsabilità.

Il modello attuale di Nebuly va più a fondo sulla Description, dove si concentrano molti dei segnali di interazione più osservabili: la chiarezza con cui un utente spiega il compito, fornisce il contesto, definisce le aspettative e guida il modello.

Ma la Description è solo una parte della fluency nell'AI. L'AI Fluency Index di Anthropic rafforza questo punto: istruzioni chiare non significano necessariamente che un utente sia forte anche nella delega, nella valutazione critica o nell'uso responsabile.

Ecco perché consideriamo l'AI Proficiency come un sistema di misurazione in continua evoluzione, non come un punteggio statico dei prompt.

La roadmap: misurare tutte e quattro le dimensioni della fluency nell'AI

La prossima fase di AI Proficiency andrà oltre la valutazione dei singoli prompt per comprendere come un utente si comporta nell'intera interazione.

• Delegation. Vogliamo capire se gli utenti prendono buone decisioni su come usare l'AI: cosa delegare, come suddividere il lavoro in passaggi, quale modalità di interazione usare e dove il giudizio umano debba rimanere centrale.

• Description. Approfondiremo l'area che già misuriamo oggi. Oltre alla chiarezza del compito e al contesto, questo può includere esempi, criteri di successo, definizione del pubblico di destinazione, stile di interazione e una gestione del contesto più ricca.

• Discernment. Gli utenti esperti di AI non accettano semplicemente risposte preconfezionate. Verificano, mettono in discussione, perfezionano e notano cosa manca. Intendiamo misurare segnali come la propensione degli utenti a mettere in dubbio il ragionamento, convalidare fatti importanti, fornire feedback correttivi e migliorare gli output deboli.

• Diligence. La fluency nell'AI include anche l'uso responsabile. Laddove possa essere osservato in modo sicuro e affidabile, il modello può tenere conto dei comportamenti relativi alle informazioni sensibili, alla conformità alle policy, alla revisione umana, alla trasparenza e all'uso a valle del lavoro generato dall'AI.

I migliori utenti di AI stanno diventando operatori, non solo prompter

Il modo in cui le persone usano l'AI sta cambiando rapidamente. Un lavoro efficace con l'AI non si limita più a digitare un prompt in una chat.

I dipendenti lavorano sempre più con competenze riutilizzabili, file e contesti esterni, strumenti connessi, workflow multi-step e agenti specializzati. Un modello di competenza deve evolversi insieme al lavoro che misura.

Le versioni future di AI Proficiency guarderanno quindi oltre le 4D e aggiungeranno segnali quali:

• Competenze e capacità riutilizzabili — l'utente sa quando utilizzare una competenza, un agente, un template o un set di istruzioni riutilizzabili esistenti? Sa configurare comportamenti ripetibili invece di ricominciare da capo ogni volta?

• Gestione del contesto — l'utente fornisce i file, le fonti, le istruzioni e le informazioni pregresse corrette? Sa come dare al modello un contesto sufficiente senza sovraccaricarlo di informazioni irrilevanti?

• Progettazione del workflow — l'utente sa trasformare un'interazione occasionale in un processo multi-step affidabile, con checkpoint, iterazioni e passaggi chiari tra uomo e AI?

• Utilizzo degli strumenti — l'utente sa quando e come utilizzare la navigazione web, l'esecuzione di codice, le fonti di dati collegate, i sistemi interni o altri strumenti anziché aspettarsi che il modello linguistico da solo risolva ogni problema?

• Orchestrazione di modelli e agenti — man mano che i sistemi di AI diventano più agentici, gli utenti sanno scegliere il modello o l'agente giusto per l'attività e coordinare efficacemente molteplici funzionalità?

Questi comportamenti sono importanti perché gli utenti di AI più esperti non sono semplicemente più bravi a scrivere prompt. Sono più bravi a gestire sistemi di AI.

Nebuly

Nebuly è la piattaforma di ROI per l'AI aziendale. Si collega agli agenti AI su cui si basa la tua azienda, agli assistenti con cui interagiscono i tuoi clienti e agli strumenti che i tuoi dipendenti usano ogni giorno, tra cui Claude, ChatGPT e Copilot, e traduce tale attività in valore aziendale. Quanto tempo viene risparmiato tra i vari team. Su quali ricavi influisce la tua AI. Come si presentano l'adozione e la competenza dell'AI nella pratica, tra dipartimenti e aree geografiche. Se hai bisogno di chiarezza su ciò che il tuo investimento nell'AI sta effettivamente offrendo, prenota una demo.