Judging other' knowledge : effects of speech disfluencies and gestures

Abstract

We produce and comprehend language multimodally in our daily communication. As part of the multimodal language system, gestures play a vital role for listeners, by capturing attention and providing information. Similarly, disfluencies serve as a cue for the listeners about one's knowledge level on a topic. In two studies, we asked whether the combination of gestures and speech disfluencies would affect how listeners made feeling-of-another's-knowing (FOAK) judgments regarding speakers' knowledge states. In Study 1, we investigated this relationship by using a within subject design with gesture/no-gesture and disfluent/fluent videos in which several other cues like facial expression, words, additional visual cues (e.g., background, clothes, objects) were not controlled for but naturally occurred. We found that fluent speech elicited higher FOAK ratings than disfluent speech, but no significant effect was found for gestures. The follow-up Study 2 used the same research design. Furthermore, we examined the same disfluency-gesture interaction using controlled stimuli, including background, intonation, and word choice, as well as iconic and beat gesture types as gesture subcategories. Participants also filled the gesture awareness scale. Results were identical with the first study, given that only the disfluent speech received lower FOAK ratings significantly without effects of gesture use or type. These findings show that the effects of gestures and disfluencies depend on language and stimuli related factors, particularly on knowledge assessments of others.Günlük iletişimimizde dili çok modlu olarak üretir ve anlarız. Multimodal dil sisteminin bir parçası olarak jestler, dikkat çekerek ve bilgi sağlayarak dinleyiciler için önemli bir rol oynar. Benzer şekilde, akıcılık bozuklukları da dinleyiciler için kişinin bir konudaki bilgi seviyesi hakkında bir ipucu görevi görür. İki çalışmada, jestler ve konuşma akıcılığı bozuklukları kombinasyonunun, dinleyicilerin konuşmacıların bilgi durumlarına ilişkin başkalarının bildiğini hissetme yargılarını nasıl etkileyeceğini sorduk. Çalışma 1'de, bu ilişkiyi, yüz ifadesi, kelimeler, ek görsel ipuçları (örn. arka plan, kıyafetler, nesneler) gibi diğer birçok ipucunun kontrol edilmediği ancak doğal olarak ortaya çıktığı jestli/jestsiz ve akıcı/akıcı olmayan videolarla denek içi bir tasarım kullanarak araştırdık. Akıcı konuşmanın akıcı olmayan konuşmaya göre daha yüksek başkalarının bildiğini hissetme derecelendirmeleri ortaya çıkardığını, ancak jestler için anlamlı bir etki bulunmadığını tespit ettik. Takip eden Çalışma 2'de de aynı araştırma tasarımı kullanılmıştır. Ayrıca, arka plan, tonlama ve kelime seçiminin yanı sıra jest alt kategorileri olarak ikonik ve vuruşlu jest türleri de dahil olmak üzere kontrollü uyaranlar kullanarak aynı akıcılık bozukluğu-jest etkileşimini inceledik. Katılımcılar ayrıca jest farkındalığı ölçeğini de doldurmuştur. Sonuçlar, jest kullanımı veya türünün etkisi olmaksızın sadece akıcı olmayan konuşmanın önemli ölçüde daha düşük başkalarının bildiğini hissetme derecelendirmeleri aldığı göz önüne alındığında, ilk çalışma ile aynıydı. Bu bulgular, jestlerin ve akıcılık bozukluklarının etkilerinin, özellikle başkalarının bilgisinin değerlendirilmesinde, dil ve uyaranlarla ilgili faktörlere bağlı olduğunu göstermektedir.