Speech driven 3D head gesture synthesis

Abstract

In this paper, we present a speech driven natural head gesture analysis and synthesis system. The proposed system assumes that sharp head movements are correlated with prominence in speech. For analysis, a binocular camera system is employed to capture the head motion of a talking person. The motion parameters associated with the 3D head motion are then used for extraction of the repetitive head gestures. In parallel, prosodic events are detected using an HMM structure with pitch and formant frequencies and speech intensity as audio features. For synthesis, the head motion parameters are estimated from the prosodic events based on a gesture-speech correlation model and then the associated Euler angles are used for speech driven animation of a 3D personalized talking head model. Results on head motion feature extraction, prosodic event detection and correlation modelling are provided. / Bu yazıda, konuşmaya dayalı doğal bir baş hareketi analiz ve sentez sistemi sunuyoruz. Önerilen sistem, keskin kafa hareketlerinin konuşmadaki belirginlik ile ilişkili olduğunu varsayar. Analiz için, konuşan bir kişinin baş hareketini yakalamak için bir dürbün kamera sistemi kullanılır. 3B kafa hareketiyle ilişkili hareket parametreleri daha sonra tekrarlayan baş hareketlerinin çıkarılması için kullanılır. Buna paralel olarak, prozodik olaylar, ses özellikleri olarak perde ve formant frekansları ve konuşma yoğunluğu ile bir HMM yapısı kullanılarak tespit edilir. Sentez için, baş hareketi parametreleri, bir jest-konuşma korelasyon modeline dayalı prozodik olaylardan tahmin edilir ve ardından ilişkili Euler açıları, bir 3B kişiselleştirilmiş konuşan kafa modelinin konuşmaya dayalı animasyonu için kullanılır. Kafa hareketi öznitelik çıkarımı, prozodik olay tespiti ve korelasyon modellemesi ile ilgili sonuçlar sağlanır.