Valutazione dei sistemi di riconoscimento vocale

I sistemi di riconoscimento vocale (ASR, Automatic Speech Recognition) hanno ormai imboccato la strada necessaria per superare il gap tra la naturalezza data dal pronunciare un nome ad un operatore e il risparmio sui costi, unitamente all'affidabilità, garantito da un sistema automatico.
Ma qual è la metodologia corretta per valutare un sistema di riconoscimento vocale?
Uno dei test da effettuare è quello relativo alla capacità del sistema di riconoscere un nome pronunciato dal chiamante e trasferire la chiamata in modo corretto, o di gestirla in modo opportuno se il nome non è riconosciuto o non è presente nel database. Questa è senza dubbio una delle caratteristiche fondamentali di tali sistemi, anche se va ricordato che alcune soluzioni offrono, inoltre, numerose funzionalità aggiuntive, come ad esempio il supporto del Continuous Speech e la capacità di interpretare il contenuto della richiesta in base a parole chiave predefinite.
Nel seguito vengono evidenziate alcune metodologie di testing adottate dal CT Lab americano (jgifford@computertelephony.com).

Riconoscimento dei nomi
Il test si pone l'obiettivo di valutare la capacità del sistema di riconoscere i nomi pronunciati e di trasferire la chiamata all'interlocutore corretto.
Per il test occorre caricare il sistema con un database di nomi non duplicati, possibilmente utilizzando lettori diversi e di entrambi i sessi. Un simulatore di linea apporterà poi le modifiche alla voce registrata così da simulare l'attraversamento di una qualsiasi rete telefonica.
Un apposito apparecchio, denominato "Hammer test call generator", provvede poi ad effettuare in automatico le chiamate di prova, sia su linea singola sia su più linee contemporaneamente, in modalità "barge-in" o "prompted-response".
Nel caso del "barge-in", l'Hammer attende alcuni secondi dopo l'inizio del messaggio del sistema e quindi pronuncia il nome, mentre in modalità "prompted-response" il nome da riconoscere viene pronunciato solo al termine della lettura del messaggio da parte del sistema.
In ogni caso, l'interrogazione presenta tre esiti possibili:

• Il sistema attribuisce un'alta probabilità al riconoscimento effettuato e di conseguenza provvede a trasferire la chiamata;
• Il sistema è in dubbio e chiede al chiamante la conferma del riconoscimento effettuato;
• Il sistema fallisce il riconoscimento e passa la chiamata all'operatore.

L'accuratezza del riconoscimento può essere misurata tramite l'Hammer, che riconosce il tono DTMF generato dal sistema per trasferire la chiamata e lo confronta con il proprio database. In questo modo è possibile suddividere l'esito del singolo test in:

• Riconoscimento corretto, se il trasferimento avviene al giusto interlocutore;
• Riconoscimento errato, se l'interlocutore raggiunto non è quello corretto o se il sistema necessita di una conferma;
• Mancato riconoscimento, se il sistema passa la chiamata all'operatore.

Test dei nomi duplicati
Per misurare la capacità di un sistema di gestire nomi duplicati, occorre inserire più volte un medesimo nome nel database. Ogni istanza può poi essere associata ad una descrizione di secondo livello ("Commerciale", "Ufficio tecnico", "Marketing"), nel modo previsto dallo specifico sistema in esame.
Una persona (questo test non può essere fatto in automatico) deve poi chiamare il sistema, pronunciare il nome quando questo lo richiede e valutare come il sistema gestisce il routing.
La risposta più corretta che il sistema può dare prevede che il nome sia riconosciuto e all'utente venga chiesto di scegliere con quale delle persone con quel nome desidera parlare ("Desidera parlare con il sig. Rossi dell'ufficio tecnico ?").

Test dei soprannomi
Si può effettuare anche una prova della capacità del sistema di riconoscere soprannomi o diminutivi (ad esempio "Bob" o "Rob" al posto di "Robert"), caricando questi ultimi nella base di dati unitamente al nome completo ed effettuando poi chiamate manuali di test.

Test di nomi non presenti nel database
Questa prova si prefigge di misurare le capacità del sistema di gestire un nome pronunciato dal chiamante e non presente nella base di dati. Idealmente, il sistema dovrebbe riconoscere il nome come mancante e trasferire quindi la chiamata all'operatore o, in alternativa, ipotizzare un riconoscimento con un nome dal suono simile e chiedere un'eventuale conferma all'utente prima di passare all'operatore.

Si possono poi effettuare altri tipi di prove dal carattere meno oggettivo, come la valutazione della risposta del sistema ad anomalie di pronuncia o ad accenti piuttosto marcati.

Altri elementi di valutazione sono l'integrazione con un sistema di Voice Mail, il supporto del multilingua, selezionabile o meno dal chiamante, il costo per porta del sistema e il numero di nomi inseribili nel database. Anche il modo di gestire gli errori di riconoscimento può rivelarsi più importante della qualità del riconoscimento stesso.
Da non sottovalutare, inoltre, la qualità stessa della comunicazione, intesa sia come resa audio dei messaggi sia come qualità della "conversazione": alcuni sistemi infatti inseriscono nella comunicazione alcune frasi, in modo più o meno casuale, di uso comune (come ad esempio "sono spiacente") che rendono il dialogo meno ripetitivo e più naturale.
Infine, non vanno dimenticati gli aspetti di supporto on-line, documentazione e facilità di installazione (ad esempio verificando la possibilità di importare dati in modo automatico nei database).