Annotation consensus networks for improving machine learning with human annotated data

Abstract

Abstract: In deep learning applications, particularly in tasks involving subjective judgments such as emotion recognition, medical diagnosis, or content moderation, it is common to collect annotations from multiple human annotators for the same data instances. This practice captures diverse perspectives but often introduces variations or disagreements due to differences in interpretation, expertise, or individual bias. Effectively modeling and reconciling these inconsistencies is a key challenge in building robust and reliable machine learning models. Annotations are typically aggregated using simple methods such as averaging or majority voting. However, these conventional methods do not effectively capture common patterns or collective annotator behavior, and instead dilute valuable information about shared understanding among annotators. To address this problem, this thesis introduces a novel Annotation Consensus Network (ACN) that explicitly models and leverages annotator consensus as a more reliable training signal. ACN extracts a Learned Annotation Consensus (LAC) that aligns with all human annotations, providing improved supervision for machine learning models within an end-to-end training framework. This consensus reduces label variance and enables backbone networks to achieve more accurate and stable learning. In this thesis, ACN is integrated into two widely studied tasks, video summarization and continuous emotion recognition from speech, both of which rely on human-annotated ground truth targets. Extensive experiments demonstrate that ACN significantly improves the quality of training annotations. Models trained with ACN consistently outperform those using traditional annotation aggregationmethods, achieving higher accuracy, better generalization, and increased robustness to annotator variability. This thesis highlights that explicitly modeling consensus among annotators is critical for improving deep learning performance. By learning a common representation from multiple annotators, ACN effectively harnesses collective expertise, providing a strong foundation for more accurate and reliable AI systems. This approach is beneficial for any domain facing annotation disagreements, enabling models to better understand and represent common human judgments rather than isolated individual perspectives.

Özet: Derin öğrenme uygulamalarında, özellikle duygu tanıma, tıbbi teşhis veya içerik denetleme gibi öznel yargılar içeren görevlerde, aynı veri örnekleri için birden fazla insan etiketleyiciden değerlendirmeler toplamak yaygın bir pratiktir. Bu yöntem, farklı bakış açılarını yakalamaya olanak tanırken, yorumlama biçimi, uzmanlık düzeyi veya bireysel önyargılardan kaynaklanan varyasyonlara ya da fikir ayrılıklarına da neden olabilir. Bu tutarsızlıkları etkili bir şekilde modellemek ve uzlaştırmak, güçlü ve güvenilir makine ögrenimi modelleri geliştirmede önemli bir zorluktur. Etiketler genellikle ortalama alma veya çoğunluk oyu gibi basit yöntemlerle birleştirilir. Ancak bu geleneksel yöntemler, ortak desenleri ya da toplu etiketleme davranışlarını yeterince yansıtamaz ve etiketleyiciler arasındaki ortak anlayışa dair değerli bilgileri seyrelterek kayba uğratır. Bu problemi ele almak amacıyla, bu tez, etiketleyiciler arasındaki uzlaşıyı daha güvenilir bir öğrenme sinyali olarak açıkça modelleyen ve kullanan Etiket Uzlaşı Ağı (Annotation Consensus Network (ACN)) yapısını yeni bir yaklaşım olarak önermektedir. ACN, tüm etiketlemelerle uyumlu olan öğrenilmiş Etiket Uzlaşısı’nı (Learned Annotation Consensus (LAC)) çıkararak, uçtan uca bir eğitim çerçevesinde makine öğrenimi modelleri için daha gelişmiş bir denetim sağlar. Bu uzlaşı, etiket varyansını azaltır ve derin ağlarının daha doğru ve kararlı öğrenme gerçekleştirmesini mümkün kılar. Bu tezde, ACN iki yaygın görev olan video özetleme ve konuşmadan sürekli duygu tanıma problemlerine entegre edilmiştir; her iki görev de insan değerlendirmelerine dayalı etiketleme değer hedefleriyle çalışmaktadır. Kapsamlı deneyler, ACN’nin eğitim etiketlerinin kalitesini önemli ölçüde artırdığını göstermektedir. ACN ile eğitilen modeller, geleneksel etiket birleştirme yöntemlerini kullanan modellere kıyasla tutarlı biçimde daha yüksek doğruluk, daha iyi genelleme ve etiketlemeler arası farklılıklara karşı daha fazla dayanıklılık sergilemektedir. Bu tez, etiketleyiciler arasındaki uzlaşıyı açıkça modellemenin derin öğrenme başarımını artırmada kritik bir rol oynadığını vurgulamaktadır. ACN, birden fazla etiketleyiciden ortak bir temsil öğrenerek kolektif uzmanlığı etkili bir şekilde kullanmakta ve daha doğru ve güvenilir yapay zeka sistemleri için sağlam bir temel sunmaktadır. Bu yaklaşım, etikeleme farklılıklarının yaşandığı tüm alanlar için faydalıdır; modellerin bireysel görüşler yerine ortak insan yargılarını daha iyi anlamasını ve temsil etmesini sağlar.