Il livello che manca al tuo stack di osservabilità LLM: dall'infrastruttura all'intento
Il livello che manca al tuo stack di osservabilità LLM: dall'infrastruttura all'intento
In breve
→ Questo articolo è stato scritto da Anton Freyberg, Country Manager di Nebuly ed ex Services Architect presso Dynatrace, dove ha aiutato alcune delle più grandi aziende dell'area EMEA a costruire la loro infrastruttura di osservabilità. → I moderni strumenti di osservabilità gestiscono bene il livello infrastrutturale degli agenti AI: latenza, utilizzo dei token, costi, uptime e rilevamento delle anomalie. Tuttavia, non rispondono alla domanda se gli utenti stiano ottenendo valore dalle conversazioni che stanno avendo. → Aspettare che gli utenti lascino un feedback esplicito (pollici in su, pollici in giù, box di feedback) non funziona su larga scala. La maggior parte degli utenti insoddisfatti non valuta mai l'interazione. Semplicemente, smette di tornare. → La user analytics per gli agenti AI estrae segnali comportamentali dai log delle conversazioni: cosa chiedono gli utenti, dove riformulano o abbandonano, quali argomenti generano più attrito e cosa rivelano i segnali impliciti nel comportamento di conversazione sulle prestazioni dell'agente. → L'osservabilità e la user analytics rispondono a domande diverse. L'osservabilità risponde a: il sistema funziona correttamente? La user analytics risponde a: gli utenti ottengono ciò per cui sono venuti? Entrambi i livelli sono necessari per gestire gli agenti AI su scala aziendale.
Fino a pochi mesi fa ho trascorso tutta la mia carriera come Services Architect presso Dynatrace, aiutando alcune delle più grandi aziende dell'area EMEA a configurare il proprio stack di osservabilità con Dynatrace. Abbiamo dedicato molto tempo a perfezionare le metriche dell'infrastruttura, delle applicazioni, i log e il tracciamento, ma l'obiettivo finale era sempre quello di collegare questi segnali al comportamento effettivo degli utenti. Lo chiamavamo Digital Experience Monitoring (DEM).
Le interfacce utente (web e mobile) erano deterministiche. Utilizzavamo i tag JavaScript per catturare azioni concrete: caricamento di pagine, clic sui pulsanti, scorrimento e rendering delle immagini. Se un utente faceva clic su "Checkout" e l'API non funzionava, sapevamo esattamente perché l'esperienza si era interrotta e quale fosse il suo impatto sul business.
Ma piano piano gli LLM sono entrati in gioco e, dopo le interfacce standard web e mobile, assistiamo a una rapida crescita della trazione delle interfacce conversazionali.
Grand View Research 2024
Perché l'osservabilità è indispensabile e cosa le manca ancora
Quando è emersa la GenAI, i principali fornitori di osservabilità hanno adattato i loro punti di forza esistenti a questa nuova tecnologia – giustamente. Hanno affrontato l'"infrastruttura" dell'IA: il monitoraggio delle prestazioni.
Oggi, gli strumenti (incluso Dynatrace) sono fantastici nel visualizzare i token, tracciare le latenze, calcolare i costi, oltre a rilevare e segnalare le interruzioni di servizio utilizzando standard aperti come OpenTelemetry.
Questo livello è indispensabile. Devi rilevare le anomalie all'istante. Abbiamo bisogno di questi strumenti per garantire che i sistemi siano attivi e funzionanti.
Tuttavia, manca ancora qualcosa: la User Experience. In qualche modo, ci siamo dimenticati di questo livello per gli LLM, pur riconoscendo che si tratta della cosa più importante nelle nostre consuete interfacce clienti: mobile e web.
Possiamo rispondere a: "Il mio chatbot è veloce ed efficiente in termini di costi?"
Ma non possiamo rispondere a: "In che modo i miei utenti interagiscono con il bot ed è utile?" – che, in fin dei conti, è il motivo per cui stiamo integrando la GenAI nella nostra esperienza utente.
Non monitorare il contenuto delle conversazioni è come garantire la consegna in giornata senza controllare di avere l'oggetto giusto nel pacco.
La trappola dei feedback
Il primo istinto per colmare questo divario di visibilità è solitamente quello di aggiungere pulsanti con il pollice su/giù o box per i feedback. In passato consigliavo di inviare i feedback a Dynatrace sotto forma di eventi e di tracciarli sulle dashboard. In teoria è un'ottima idea, ma in pratica lo è meno... Se aspetti che i tuoi utenti ti dicano volontariamente cosa c'è che non va nel tuo prodotto tramite un box per i feedback, rischi di aspettare per sempre.
Come abbiamo visto, vogliamo monitorare la user experience delle nostre conversazioni IA.
Quindi, come si presenta questo processo? Come si ottengono informazioni sugli utenti dalle conversazioni?
Approcci comuni
Vedo che le aziende cercano di colmare questa lacuna in diversi modi:
1. Valutazioni manuali: leggere i log uno per uno. Questo funziona per 10 chat. Fallisce per 10.000.
2. Strumenti fatti in casa: team di ingegneri che cercano di creare complesse pipeline NLP invece di concentrarsi sul loro prodotto principale.
3. Strumenti di tracciamento focalizzati sugli sviluppatori (es. Langfuse/LangSmith): sono eccellenti per gli sviluppatori che devono fare il debug di tracce specifiche o gestire le versioni dei prompt, ma sono progettati per il debugging del codice, non per analizzare il comportamento degli utenti su scala.
4. GenAI user analytics: vediamo di cosa si tratta.
GenAI User Analytics
Lavorando in Dynatrace, non avevo mai sentito parlare di analytics degli utenti per la GenAI e ne sono venuto a conoscenza solo grazie al mio lavoro presso Nebuly. Si tratta di estrarre informazioni comportamentali dai log delle tue conversazioni.
Quando gli utenti parlano con la tua GenAI, ti stanno fornendo una miniera d'oro di dati: cosa vogliono, perché lo vogliono e quando sono frustrati. Ti offrono un feedback implicito - ad esempio riformulando un prompt o semplicemente insultando apertamente il tuo bot (succede più spesso di quanto pensi).
Cosa definisce le analytics degli utenti GenAI?
La User Analytics per la GenAI deve essere in grado di fornirti quanto segue:
- Argomenti e intenti: cosa stanno effettivamente cercando di fare gli utenti?
- Rischi aziendali: quali conversazioni rivelano un rischio per la tua attività (non pago più, il prodotto che volevo non c'è più, la tua pagina è lenta).
- Feedback implicito: analisi dei comportamenti di riproporre le domande e dei segnali di frustrazione.
- Sentiment ed emozioni: gli utenti lasciano la chat soddisfatti?
- Intelligence sui fallimenti: quali (sotto-)argomenti hanno un alto tasso di errore (feedback implicito negativo) e perché? (ad esempio, la domanda era fuori tema, il bot ha difficoltà con lingue specifiche o il prompt era semplicemente formulato male?)
In Nebuly non cerchiamo di sostituire il tuo stack di osservabilità; lo completiamo. Forniamo il livello di analytics utenti dedicato che traduce il caos delle conversazioni in informazioni di business strutturate.
Se hai già configurato il monitoraggio dell'infrastruttura, ottimo. Hai le fondamenta. Ora è il momento di accendere le luci e vedere cosa stanno facendo effettivamente i tuoi utenti.
Se ti interessa quello che facciamo, ti consiglio di dare un'occhiata ai nostri casi di studio dei clienti.
Ma puoi anche vederlo dal vivo nel nostro playground pubblico.
Se desideri una presentazione con me o con un collega, puoi prenotare una demo proprio qui.
Il mio post preferito sul blog fino ad ora: User intent and implicit feedback in conversational AI: a complete guide
Domande frequenti
Qual è la differenza tra AI observability e AI user analytics?
L'observability monitora le prestazioni dell'infrastruttura: latenza, consumo di token, uptime, tassi di errore e costi. Risponde alla domanda se il sistema di IA stia funzionando correttamente da un punto di vista tecnico. L'analitica utente monitora il comportamento delle conversazioni: cosa chiedono gli utenti, dove abbandonano o riformulano le domande, quali argomenti creano attrito e se le interazioni si risolvono con successo. L'observability ti dice che il sistema ha funzionato. L'analitica utente ti dice se è stato utile.
Perché le valutazioni con pollice su e pollice giù non risolvono il problema della visibilità?
I meccanismi di feedback esplicito catturano solo la piccola percentuale di utenti che sceglie di valutare un'interazione, tipicamente quelli con reazioni forti in un senso o nell'altro. La maggior parte degli utenti che ritiene un'interazione non utile smette semplicemente di tornare senza inviare alcuna valutazione. Su scala di produzione, il feedback esplicito rappresenta quindi un campione ridotto e non rappresentativo dell'effettiva esperienza utente. I segnali comportamentali nei dati di conversazione, come la frequenza di riformulazione, l'abbandono della sessione e i pattern di escalation, catturano ogni singola interazione senza dover fare affidamento sulla volontà degli utenti di fornire feedback.
Gli strumenti di tracciamento per sviluppatori come Langfuse o LangSmith possono sostituire la user analytics?
Gli strumenti di tracciamento per sviluppatori sono progettati per il debug del codice e la gestione delle versioni dei prompt a livello di singolo tracciamento. Offrono agli sviluppatori visibilità su specifiche interazioni tecniche durante lo sviluppo. Non sono invece progettati per analizzare il comportamento degli utenti su larga scala attraverso migliaia di conversazioni in produzione, far emergere modelli comportamentali tra diverse categorie di argomenti o collegare i risultati delle conversazioni a metriche di business come le ore risparmiate o la fidelizzazione dei clienti. I due strumenti servono a scopi diversi per pubblici diversi.
Quali segnali estrae l'analisi degli utenti dalle conversazioni degli agenti AI?
L'analisi degli utenti per gli agenti AI fa emergere diverse categorie di segnali comportamentali: la distribuzione di argomenti e intenti, che mostra ciò che gli utenti stanno effettivamente cercando di ottenere; i segnali di feedback implicito, inclusi la frequenza di riformulazione e l'abbandono della sessione, che mostrano dove l'agente sta fallendo senza che gli utenti lo dicano esplicitamente; la failure intelligence, che identifica quali categorie di argomenti hanno tassi di errore elevati e perché; i segnali di sentiment ed emotivi, che mostrano se gli utenti lasciano le conversazioni soddisfatti o frustrati; e i segnali di rischio aziendale, che mostrano dove le conversazioni contengono pattern rilevanti per la conformità, la fidelizzazione o i risultati commerciali.
Come si inserisce Nebuly rispetto a uno stack di observability esistente?
Nebuly aggiunge lo strato di analisi degli utenti sopra l'infrastruttura di osservabilità esistente, anziché sostituirla. Se la tua organizzazione dispone già di un monitoraggio dell'infrastruttura tramite strumenti come Dynatrace, Datadog o sistemi basati su OpenTelemetry, Nebuly fornisce lo strato complementare che questi strumenti non sono progettati per coprire: l'analisi comportamentale di ciò che gli utenti fanno nelle conversazioni e ciò che queste conversazioni rivelano sui risultati aziendali. I due strati rispondono a domande diverse e sono progettati per funzionare insieme.
Resta aggiornato su ciò che stiamo imparando, costruendo e osservando mentre i team enterprise distribuiscono e misurano gli agenti AI in produzione.