Comparative lip motion analysis for speaker identification

Abstract

The aim of this work is to determine the best lip analysis system, thus the most accurate lip motion features for audio-visual open-set speaker identification problem. Based on different analysis points on the lip region, two alternatives for initial lip motion representation is considered. In the first alternative, the feature vector is composed of the 2D-DCT coefficients of the motion vectors estimated within the rectangular mouth region whereas in the second, outer lip boundaries are tracked over the video frames and only the motion vectors around the lip contour are taken into account along with the shape of the lip boundary. Another comparison has been performed between optical flow and block-matching motion estimation methods to find the best model for lip movement. The dimension of the obtained lip feature vector is then reduced by a two-stage discrimination method selecting the most discriminative lip features. An HMM-based identification system has been used for performance comparison of these motion representations. It is observed that the lower-dimensional feature vector computed by block-matching within a rectangular grid in the lip region maximizes the identification performance. /Bu çalışmanın amacı, görsel-işitsel açık set konuşmacı tanıma problemi için en iyi dudak analiz sistemini, dolayısıyla en doğru dudak hareketi özelliklerini belirlemektir. Dudak bölgesindeki farklı analiz noktalarına dayalı olarak, başlangıç dudak hareketi gösterimi için iki alternatif göz önünde bulundurulur. Birinci alternatifte öznitelik vektörü dikdörtgen ağız bölgesi içinde tahmin edilen hareket vektörlerinin 2D-DCT katsayılarından oluşurken, ikinci alternatifte dış dudak sınırları video kareleri üzerinden izlenir ve sadece dudak konturu etrafındaki hareket vektörleri izlenir. dudak sınırının şekli ile birlikte dikkate alınır. Dudak hareketi için en iyi modeli bulmak için optik akış ve blok eşleştirme hareket tahmin yöntemleri arasında başka bir karşılaştırma yapılmıştır. Elde edilen dudak özelliği vektörünün boyutu daha sonra en ayırt edici dudak özelliklerini seçen iki aşamalı bir ayrım yöntemiyle azaltılır. Bu hareket gösterimlerinin performans karşılaştırması için HMM tabanlı bir tanımlama sistemi kullanılmıştır. Dudak bölgesinde dikdörtgen bir grid içerisinde blok eşleştirme ile hesaplanan alt boyutlu özellik vektörünün tanımlama performansını maksimuma çıkardığı görülmektedir.