Oura e lo standard a cui dovresti conformare la tua IA (parte 2 di 3)

Un unico standard per l'agente e l'essere umano

La prima parte si è conclusa con Oura come caso eccezionale che meritava un approfondimento a sé. Ecco perché.

La maggior parte delle aziende che utilizza un agente di supporto AI ne misura le prestazioni confrontandole con i dati del proprio contact center. Oura ha pubblicato qualcosa di più interessante: una metrica che analizza le conversazioni invece di limitarsi a contarle, valutando ognuna di esse in base alla stessa scheda di valutazione, indipendentemente dal fatto che l'utente stia parlando con l'agente AI o con un essere umano.

Si chiama TCX, o Total Customer Experience. Quattro classificatori leggono la conversazione reale e ognuno risponde a una domanda: il problema è stato compreso? L'utente ha espresso frustrazione? È stato risolto o correttamente scalato? E il suo sentiment finale era positivo? Un'interazione viene considerata superata solo se tutti e quattro i parametri risultano positivi. Risolvere il problema ma lasciare l'utente insoddisfatto non viene considerato un buon lavoro.

Due decisioni in questo processo valgono più del punteggio stesso.

Vengono deliberatamente ignorate le note interne e i dati di backend, perché l'utente non li ha mai visti. Inoltre, non viene fatta alcuna distinzione tra i canali: una conversazione avviata con l'agente AI è sottoposta allo stesso standard di quella avviata con un operatore del servizio clienti (Member Care Representative). Nessuna scheda di valutazione separata per il bot posizionata in una dashboard dedicata dove possa apparire più lusinghiera del dovuto.

Non è la strada più semplice. Ci è voluto circa un anno di sviluppo, una selezione che ha ridotto oltre una dozzina di classificatori candidati a soli quattro e una calibrazione trimestrale rispetto a un set di riferimento ("golden set") di almeno mille casi valutati dagli esperti di Oura. Quando il modello e gli umani non sono d'accordo, sono gli umani a stabilire lo standard.

Nessuno ha fissato un obiettivo di contenimento

Dal lancio, il loro punteggio TCX è salito di nove punti, la necessità di ripetere la risoluzione dei problemi è scesa dal 40% a circa il 20% e il tempo medio di gestione delle chat dal vivo si è ridotto di oltre un quarto.

Questi sono esattamente i dati operativi messi in discussione nella prima parte, ma nel caso di Oura sono migliorati perché l'approccio è stato esplicitamente qualitativo. Nessuno ha fissato un obiettivo di contenimento. Nessuno ha respinto o deviato gli utenti. Hanno analizzato l'esperienza vissuta dagli utenti, hanno individuato dove si interrompeva, l'hanno corretta e, di conseguenza, l'esperienza è migliorata.

Questo è il punto centrale del discorso, ed è la risposta a chiunque pensi che misurare correttamente l'esperienza sia un lusso da concedersi solo dopo aver raggiunto i propri obiettivi di costo.

Ciò che emerge è molto più interessante del punteggio in sé. Oura afferma che individuare la causa principale di un problema emergente richiedeva giorni o settimane, mentre ora richiede meno di 30 minuti. In un caso, il TCX ha segnalato una discrepanza tra la diagnostica automatica della batteria e ciò che gli utenti vedevano sul proprio anello e sull'app, spingendoli ad aggiornare un modello diagnostico obsoleto. Una conversazione ha messo in luce un modello di prodotto errato, e il prodotto è stato modificato.

L'interfaccia a cui le persone si rivolgono spontaneamente

Il che ci porta all'altro agente AI, e al motivo per cui questa non è una storia di assistenza clienti.

Oura Advisor è il loro assistente sanitario in-app, descritto come l'interfaccia operativa per l'intera esperienza Oura. Gli utenti non vi accedono perché qualcosa si è rotto. Chiedono perché hanno dormito male, cosa significa il loro punteggio di prontezza (readiness score) o se sia il caso di allenarsi oggi.

I dati pubblicati da Oura in merito mostrano che gli utenti parlano più spesso di sonno e recupero (75%), seguiti da stress e resilienza (57%), e infine di attività fisica e allenamenti (45%). L'83% ritiene le risposte affidabili, il 60% afferma che Advisor lo ha aiutato a capire aspetti del proprio corpo che non aveva mai compreso prima, e oltre la metà riferisce di aver trasformato un'intuizione in un'azione con un beneficio tangibile.

Questo è il resoconto di ciò che i clienti desiderano, espresso con le loro stesse parole, nel momento esatto in cui lo desiderano. Nessun sondaggio può produrre questo risultato. Nessun tasso di contenimento può catturarlo. Ed esiste solo perché Oura ha creato un'interfaccia con cui vale la pena interagire e si è impegnata a mantenerla tale.

Perché questo è un discorso di brand

Scrivendo di Oura questo mese, Scott Galloway li ha affiancati ad Apple, Google e Amazon per un attributo specifico: aziende che controllano l'intera esperienza del cliente e possiedono la relazione, trasformando l'esperienza del loro brand in un vantaggio competitivo difendibile (moat).

Possedere la relazione significa sempre più possedere la conversazione. Quando un utente chiede ad Advisor informazioni sulla propria salute, questo risponde con il tono di voce di Oura, basandosi sulla scienza di Oura e sui dati specifici dell'utente. Quando la stessa domanda viene posta a ChatGPT o Gemini, qualcun altro risponde per conto di Oura, utilizzando informazioni generiche e senza comprendere la situazione unica di quell'utente.

Un brand che analizza le proprie conversazioni migliora proprio in ciò che lo contraddistingue. Un brand che non lo fa sta di fatto prendendo in affitto la propria competenza da un modello su cui non ha alcun controllo.

Tre spunti pratici da portare a casa

• Valuta la conversazione dal punto di vista dell'utente. Analizza ciò che ha vissuto ed escludi i metadati interni. Questo impone la domanda che tutti hanno evitato: questa persona ha ottenuto ciò per cui era venuta?
  
  

• Un unico standard per l'AI e per gli umani. Nel momento in cui il tuo agente ha una sua scheda di valutazione separata, crei una metrica che può migliorare indipendentemente dall'esperienza reale dell'utente: queste due curve possono muoversi in direzioni opposte senza che tu te ne accorga.
  
  

• Calibra il sistema sulla base delle tue persone e lascia che siano loro a guidare. Definisci un set di riferimento (golden set) valutato dai tuoi esperti e verificalo periodicamente. Senza di esso, avrai solo automatizzato l'auto-compiacimento.

E qualunque cosa tu decida di creare, indirizzala verso l'interfaccia a cui le persone si rivolgono spontaneamente, non solo verso quella che usano quando qualcosa va storto.

La terza parte analizzerà cosa significa tutto questo per il vantaggio competitivo, sia che tu scelga l'approccio dell'Agente di fiducia (Agent-of-choice), la combinazione di più agenti (choice-of-agents) o un mix dei due, e quali saranno le domande principali da porsi.