JESTKOD database: dyadic interaction analysis

Abstract

In the nature of human-to-human communication, gesture and speech co-exist in time with a tight synchrony. We tend to use gestures to complement or to emphasize speech. In this study we present the JESTKOD database, which will be a valuable asset to examine gesture and speech in defining more natural human-computer interaction systems. This JESTKOD database consists of speech and motion capture data recordings of dyadic interactions under friendly and unfriendly interaction scenarios. In this paper we present our multimodal data collection process as well as the early experimental studies on friendly/unfriendly classification of dyadic interactions using body gesture and speech data.

Öz: Vücut jestleri konuşma ile beraber, vurgulayıcı ve tamamlayıcı olarak insan-insan iletişiminin önemli bir parçasını oluşturmaktadır. Bu çalışmada sunduğumuz çok kipli JESTKOD veritabanı ile insan-insan iletişiminin önemli bir parçası olan konuşmayı ve vücut jestlerini inceleyerek, insan-bilgisayar etkileşimini daha doğal hale getirmeyi amaçlamaktayız. JESTKOD veritabanı kişilerin duygu değişimlerini esas alan konuşma ve hareket yakalamaya dayalı vücut hareketlerinin olumlu ve olumsuz iletişim senaryoları altında kayıtlarından oluşmaktadır. Bu bildiride çok kipli veritabanının hazırlanma yöntemlerini ve aşamalarını sunuyoruz. Aynı zamanda, veritabanımızın ikili iletişim senaryolarını değerlendirmek üzere konuşma ve hareket yakalama kayıtları üzerinden yaptıgımız olumlu/olumsuz iletişim sınıflandırma sonuçlarımızı da sunuyoruz.