Speech rhythm-driven gesture animation

Abstract

Gesticulation is an essential component of face-toface communication, and it contributes significantly to the natural and affective perception of human-to-human communication. In this work, we investigate a new multimodal analysis framework to model the relationship between speech rhythm and gesture phrases. We extract speech rhythm using Fourier analysis of the amplitude envelope of bandpass filtered speech rather than computing rhythm with time domain measurements of interval durations, a frequency domain representation is employed. The speech rhythm driven gesture animation framework effectively associates gesture phrases to speech phrases, while maintaining the realistic gesture rhythm. We evaluate the speech rhythm driven gesture animation by subjective tests.

Öz: Konuşmaya eşlik eden el hareketleri (jestler) yüzyüze iletişimin temel bileşenlerinden biridir ve insan insana iletişimin doğal ve duyuşsal algısına önemli bir şekilde katkıda bulunurlar. Bu çalışmada, konuşma ritmi ve jest ifadelerinin ilişkisini modellemek icin yeni bir çok kipli analiz sistemini inceliyoruz. Konuşma ritmini zaman alanında aralık süreleri ölçütleri ile hesaplamaktansa, bant geçiren filtreleme sonucu elde ettigimiz genlik zarfının Fourier analizi ile frekans alanında çıkartıyoruz. Konuşma ritmi sürümlü jest canlandırma sistemi jest ifadelerini başarılı bir şekilde konuşma ifadeleri ile ilişkilendiriyor. Konuşma ritmi sürümlü jest canlandırmasını öznel testler ile degerlendiy- oruz.