New modalities, new challenges - annotating sketching and gaze data

Abstract

One active line of research in the IUI community aims to build interfaces that combine multiple communication modalities to support more natural human-computer interaction. Multimodal interaction research relies heavily on the availability of carefully annotated data in various modalities. As a result, many authors have suggested general-purpose tools for annotation. However, existing tools do not support annotation of a number of recently emerging modalities. In particular, annotation of pen and eye gaze data is not fully supported by existing annotation systems despite the increasing popularity of tablets and eye gaze-Aware systems. This paper presents our efforts for designing and implementing a general-purpose annotator with a comprehensive support for a large number of modalities./ Öz: Akıllı kullanıcı arayüzleri üzerine yapılan çalışmalardaki aktif araştırma alanlarından biri de çoklu iletişim kiplerini bir araya getirerek daha doğal insan-makine etkileşimini desteklemeyi hedefler. Çeşitli kiplerden verilerin otomatik öğrenmeye imkân verecek şekilde etiketlenmesi, çokkipli etkileşim araştırmalarının yürütülmesinde önemli bir role sahiptir. Bundan dolayı, pek çok yazar etiketleme için genelamaçlı araçlar önermiştir. Ancak, hali hazırdaki araçlar yakın geçmişte yaygınlık kazanmaya başlamış bir takım kipleri desteklememektedir. Özellikle, tabletlerin ve bakış yönü temelli sistemlerin giderek artan popülerliğine rağmen, kalem ve bakış yönü verilerinin etiketlenmesi hali hazırdaki etiketleme sistemleri tarafından tam anlamıyla desteklenmemektedir. Bu bildiri çok sayıda kip için kapsamlı destek sağlayabilecek bir genel-amaçlı etiketleyici için tasarı ve geliştirme çabalarımızı sunmaktadır.