Comparison of phoneme and viseme based acoustic units for speech driven realistic lip animation

Abstract

Natural looking lip animation, synchronized with incoming speech, is essential for realistic character animation. In this work, we evaluate the performance of phone and viseme based acoustic units, with and without context information, for generating realistic lip synchronization using HMM based recognition systems. We conclude via objective evaluations that utilization of viseme based units with context information outperforms the other methods./ Öz: Konuşma ile senkronize ve doğal görünen dudak hareketlerinin üretilmesi, gerçekçi karakter animasyonu için önemli bir problemdir. Bu çalışmada, gerçekçi dudak hareketleri üretebilmek için Saklı Markov Modeli (SMM) kullanarak, fonem ve vizem temelli akustik birimlerin başarımlarını karşılaştırıyoruz. Nesnel değerlendirmeler sonucunda, komşuluk bilgisini kullanan vizem temelli akustik birimlerin diğer metodlardan daha üstün olduğunu gösteriyoruz.