Robuste Erkennung der prosodischen Phänomene und der emotionalen Benutzerzustände in einem multimodalen Dialogsystem

Die vorliegende Arbeit widmet sich der Untersuchung der Robustheit bei der automatischen Analyse der prosodischen Eigenschaften der Sprache. Als Gegenstand der automatischen Klassifikation dienen drei prosodische Phänomene (Phrasenakzente, Phrasengrenzen und Fragen), zwei Arten von "Beiseitesprechen" (Read-OffTalk, Other-OffTalk) und drei emotionale Benutzerzustände (Freude, Zögern und Ärger).

Die domänenübergreifende Auswertung der Klassifikatoren bildet einen Schwerpunkt der Experimente. Zwei weitere Schwerpunkte sind die robuste Berechnung der prosodischen Merkmale, die nicht von einer wortbasierten Verschriftung abhängt, und das robuste Training eines Klassifikators für die echten Benutzerzustände in der Spontansprache.

Ein zweistufiger Klassifikator, der die Ergebnisse der prosodischen und der segmentalen Klassifikation zusammenführt, verbessert die Klassifikation der emotionalen Benutzerzustände in der Spontansprache. Eine weitere Verbesserung wird durch die Verwendung der gespielten Emotionsdaten als Trainingsstichprobe erreicht.