Audio-visual correlation analysis for lip feature extraction

Abstract

In this paper, correlations between audio features and different lip features are investigated. Audio features are selected as Mel Frequency Cepstral Coefficients (MFCC) of the audio signal. Three different lip features are considered for the visual lip information, where these features are 2D DCT coefficients of the intensity based image and the optical flow vectors within the lip region, and the distances between predefined points on the lip contour which carries the lip shape information. In this study, a new methodology based on class conditional probability is used to estimate and compare the correlations between audio feature and each lip feature. The lip feature, which has the highest correlation to audio features, is identified among the above lip features. Isolation of lip features, which are highly correlated with audio signal, can be used for audio-visual speech recognition, audio-visual lip synchronization and estimation of lip shapes using audio signal for visual synthesis. / Bu çalışmada, ses özellikleri ile farklı dudak özellikleri arasındaki ilişkiler araştırılmaktadır. Ses özellikleri, ses sinyalinin Mel Frekans Cepstral Katsayıları (MFCC) olarak seçilir. Görsel dudak bilgisi için üç farklı dudak özelliği dikkate alınır; burada bu özellikler, yoğunluğa dayalı görüntünün 2D DCT katsayıları ve dudak bölgesindeki optik akış vektörleri ile dudak konturunda dudak şekli bilgisini taşıyan önceden tanımlanmış noktalar arasındaki mesafelerdir. . Bu çalışmada, ses özelliği ile her bir dudak özelliği arasındaki korelasyonları tahmin etmek ve karşılaştırmak için sınıf koşullu olasılığa dayalı yeni bir metodoloji kullanılmıştır. Ses özellikleri ile en yüksek korelasyona sahip olan dudak özelliği, yukarıdaki dudak özellikleri arasında tanımlanır. Ses sinyali ile yüksek oranda ilişkili olan dudak özelliklerinin izolasyonu, görsel-işitsel konuşma tanıma, görsel-işitsel dudak senkronizasyonu ve görsel sentez için ses sinyali kullanılarak dudak şekillerinin tahmini için kullanılabilir.