Che cos'è l'User Analytics per i LLM

I grandi modelli linguistici stanno introducendo una nuova interfaccia per interagire con i prodotti.
Non più punta e clicca, ma interazioni dinamiche in linguaggio naturale.

Questo cambio di paradigma crea un modo radicalmente nuovo per i team di intelligenza artificiale e i product leader di pensare alla product analytics, passando dalla comprensione del percorso dell'utente attraverso i clic alla comprensione del flusso della conversazione tra l'utente e l'LLM.

Qual è la differenza tra product analytics e LLM analytics

Gli strumenti tradizionali di product analytics (Mixpanel, Amplitude, ecc.) non sono sufficienti quando si tratta di scoprire informazioni sugli utenti dei grandi modelli linguistici. L'interazione dell'utente con i prodotti basati su LLM ruota in gran parte intorno alla digitazione di un testo e alla pressione di Invio, poi alla digitazione di altro testo e alla pressione di Invio... ancora e ancora. La product analytics tradizionale non è in grado di cogliere l'essenza di ciò che gli utenti stanno digitando e, di conseguenza, non riesce a rispondere alle domande più importanti che sorgono dai prodotti LLM:

• Qual è l'intento primario degli utenti quando interagiscono con gli LLM?

• Quali sono le domande di follow-up o le azioni più comuni che gli utenti compiono dopo aver ricevuto una risposta dall'LLM?

• Quali sono gli argomenti più rilevanti discussi dagli utenti? Sono soddisfatti delle risposte?

• Ci sono situazioni in cui gli utenti sembrano confusi o insoddisfatti delle risposte dell'LLM?

• Ci sono opportunità per migliorare le risposte dell'LLM in base ai feedback e alle interazioni degli utenti?

Come funziona la user analytics per gli LLM

Le domande sopra riportate richiedono una prospettiva diversa sull'analisi per dare un senso alla massiccia quantità di interazioni degli utenti con gli LLM.

La LLM user analytics richiede una struttura solida che copra i seguenti 4 passaggi:

1. Comprendere le azioni all'interno di un'interazione utente-LLM

2. Comprendere le proprietà di un'interazione

3. Estrarre il flusso di una conversazione

4. Rilevare il coinvolgimento dell'utente VS la frustrazione

Comprendere le azioni all'interno di un'interazione utente-LLM

Definiamo interazione utente-LLM lo scambio dinamico tra il prompt dell'utente e il corrispondente output dell'LLM.

Comprendi le interazioni tra LLM e utenti.

Ogni interazione comporta azioni specifiche dell'utente che possono essere classificate nei seguenti tipi:

• Active User Actions (AUA): Le Active User Actions si riferiscono ai compiti espliciti che gli utenti di LLM eseguono. Ad esempio, quando chiedi esplicitamente all'LLM di fornire una spiegazione o di suggerire una risposta alternativa, stai compiendo un'Active User Action. Si tratta di una direttiva chiara da parte dell'utente per un tipo specifico di risposta.

• Passive User Actions (PUA): Le Passive User Actions comprendono i comportamenti sottili e impliciti che gli utenti mostrano senza istruire direttamente l'LLM. Gli esempi includono la copia della risposta precedente dell'LLM e il suo inserimento in un nuovo prompt, o l'aggiunta discreta di contesto a una query prima di porla. Queste azioni forniscono indizi sulle intenzioni o sui bisogni dell'utente senza comandi espliciti.

• Assistant Actions (AA): Pensa alle Assistant Actions come all'output che l'LLM produce in risposta al prompt di un utente. Non considera tutti i passaggi o i compiti all'interno della catena dell'LLM, ma si concentra solo sull'azione finale che fornisce la risposta all'utente.

Comprendere le proprietà di un'interazione

Ogni interazione utente-LLM è ricca di sfumature e proprietà che definiscono le specificità dell'interazione stessa.
Alcuni esempi di proprietà rilevanti che è utile estrarre sono:

• Formato, stile, verbosità e lingua: Il Formato indica se l'interazione assomiglia a un articolo, a un blog, a un documento o a un altro tipo di contenuto. Lo Stile va più a fondo, evidenziando il tono, sia esso formale, umoristico o un altro stato d'animo. La Verbosità misura la lunghezza della generazione, mentre la Lingua indica la lingua dell'output, come l'inglese o lo spagnolo.

• Argomento (Topic): Qual è il tema principale o l'oggetto della conversazione?

• Fonti (Sources): Se l'LLM attinge informazioni da fonti esterne, come in un sistema RAG, quali sono le principali?

Proprietà dell'interazione utente LLM

Estrarre il flusso di una conversazione

Estraendo le azioni e le proprietà intrinseche di ciascuna interazione, è possibile mappare l'intera traiettoria della conversazione. Questo significa andare oltre le interazioni isolate e visualizzare il "flusso" olistico, ovvero una mappa sequenziale che dettaglia i passaggi compiuti dagli utenti per raggiungere il risultato desiderato. Comprendere questo flusso fornisce informazioni preziose sul comportamento degli utenti, identificando pattern, punti critici e momenti di soddisfazione.

Flusso di conversazione LLM

Rilevare il coinvolgimento dell'utente rispetto alla frustrazione

Partendo dalla nostra comprensione di i) azioni, ii) proprietà delle interazioni e iii) flusso della conversazione, siamo in grado di distinguere i segnali di un reale coinvolgimento dagli indicatori di una crescente frustrazione.

Il coinvolgimento può manifestarsi come una serie di follow-up entusiasti, un'esplorazione approfondita di sottoargomenti o l'uso frequente delle risposte dell'LLM attraverso azioni come il copia e incolla. Al contrario, domande ripetitive su un argomento simile, lievi riformulazioni delle stesse domande senza passare a nuovi argomenti o improvvisi cambi di tema possono essere segni evidenti di una crescente frustrazione.

Identificare la radice di tale frustrazione è fondamentale per il continuo miglioramento delle interazioni con gli LLM. L'utente è insoddisfatto a causa dei limiti intrinseci di conoscenza del modello? Forse è dovuto alla saltuaria incapacità dell'LLM di adattarsi al tono o allo stile desiderato dall'utente. Altri potenziali fattori scatenanti potrebbero essere la verbosità, una percepita mancanza di creatività o un output che non corrisponde del tutto alle aspettative dell'utente.

Sintesi

Negli anni a venire miliardi di persone interagiranno con gli LLM ogni giorno. Gli strumenti tradizionali di product analytics non sono sufficienti quando si tratta di scoprire informazioni sugli utenti dei grandi modelli linguistici.

In questo articolo abbiamo esaminato un framework per la LLM user analytics, includendo una spiegazione dei componenti principali - interazioni, azioni, proprietà e flusso di conversazione - necessari per comprendere la soddisfazione e la frustrazione degli utenti.

Fortunatamente, non devi farlo manualmente, ma puoi utilizzare una piattaforma di LLM User Analytics come Nebuly. Nebuly si occupa automaticamente di tutte queste considerazioni e ti offre una visibilità istantanea sui dati degli utenti dei tuoi LLM.