A new interface for affective state estimation and annotation from speech

Abstract

Emotion recognition from speech has been an important research area in the recent past. In this study, the purpose is to predict the emotion annotations better for robot/agent and hence to develop a more human-like interaction between human and robot/agent. In this context, the emotion annotations of human-human interactions, acoustic feature extraction and spectrogram images are carried on human-human dyadic conversations. In the first study, the statistical summary results are matched with the corresponding annotation and emotion recognition is achieved by using Support Vector Machines. In the second study, a sliding window of a certain size and overlapping intervals are matched with the corresponding annotation and the machine is trained by using Convolutional Neural Networks. Consequently, a user interface is designed to contain the works aforementioned. Also, the models obtained are tested with the databases JESTKOD and CreativeIT on this interface, and yield promising results for human-like robot/agents./ Öz:Konuşmadan duygu tanıma, yakın geçmişte önemli bir araştırma alanı olmuştur. Bu çalışmada hedef, robot/aracının duygu durum değerlerini daha iyi tahmin etmesi ve dolasıyla in- san ve robot/aracı arasında daha insansı bir etkileşim geliştirmektir. Bu bağlamda, insan-insan etkileşiminde etiketlenmiş duygu durum değerleri, istatistiksel akustik ve spektral imge öznite- ˘ likleri insan-insan ikili ileti¸simine uygulanmı¸stır. ˙Ilk çalı¸smada, istatistiksel akustik öznitelikler ile etiketlemeler eşleştirilmiş ve Destek Vektör Makineleri kullanılarak duygu durum kestirimi yapılmıştır. ikinci kısımda, belli pencere aralıklarına sahip, örtüşen ve kayan spektral imgeler duygu durum değerleriyle eşleştirilmiş ve üzerinde Evrişimsel Sinir Ağları kullanılarak duygu durum kestirimi yapılmıştır. Son olarak, bu iki kestirim yöntemini barındıran yeni bir kullanıcı arayüzü tasarlanmıştır. Ayrıca, elde edilen modeller bu arayüz üzerinde JESTKOD ve CreativeIT veritabanları ile test edilmiş ve insan benzeri robot/aracılar için umut verici sonuçlar vermiştir.