Evaluating the speech output component of a smart-home system

This paper describes four experiments which have been carried out to evaluate the speech output component of the INSPIRE spoken dialogue system, providing speech control for different devices located in a “smart” home environment. The aim is to quantify the impact of different factors on the quality of the system, when addressed either in the home or from a remote location (office, car). Factors analyzed in the experiments include the characteristics of the machine agent during the interaction (voice, personality), the physical characteristics of the usage environment (acoustic user interface, background noise, electrical transmission path), as well as task-related characteristics (listening-only vs. interaction situation, parallel tasks). The results show a significant impact of agent and environmental factors, but not of task factors. Potential reasons for this finding are discussed. They serve as a basis for design decisions which have been taken for the final system.

ZusammenfassungIn diesem Beitrag werden vier Experimente beschrieben, in denen die Qualität der Sprachausgabekomponente des INSPIRE-Dialogsystems evaluiert wurde. Das INSPIRE-System erlaubt die Steuerung von verschiedenen Geräten in einem “intelligenten” Haus mittels gesprochener Sprache; es kann sowohl innerhalb des Hauses als auch von außerhalb (z.B. vom Büro oder aus dem Auto) bedient werden. Ziel der Experimente ist es, verschiedene Einflussfaktoren auf die Qualität des Systems quantitativ zu erfassen: Faktoren, die das Verhalten des Systems als Interaktionspartner betreffen (wie die Stimme oder die “Persönlichkeit” des Systems), physikalische Umgebungsfaktoren wie die akustische Umgebung und elektrische Übertragungspfade, sowie aufgabenbezogene Faktoren. Die Ergebnisse belegen einen signifikanten Einfluss der system- und umgebungsbezogenen Faktoren, nicht jedoch der aufgabenbezogenen Faktoren. Hierfür werden mögliche Gründe diskutiert und daraus Entscheidungen für das Systemdesign abgeleitet.

RésuméCette contribution présente quatre tests visant à évaluer le module de génération de parole utilisé dans le système de dialogue vocal INSPIRE. Ce système a pour objectif le contrôle vocal des appareils domestiques d’une maison “intelligente”, soit sur place, par un ensemble de microphones, soit à distance, par téléphone. Le but des expériences est de quantifier l’impact de trois classes de facteurs sur la qualité du système : la première classe caractérise le comportement du système (sa voix et sa “personnalité”), la deuxième porte sur l’environnement physique (interface acoustique, bruit de fond, voie de transmission) et la troisième est liée à la tâche effectuée par l’utilisateur (situation d’écoute ou d’interaction, effet des tâches parallèles). Les résultats obtenus montrent que l’impact des deux premières classes de facteurs est important, mais pas celui de la troisième. Les raisons de cette observation sont discutées et prises en compte pour la finalisation du prototype du système.