O10 : grouping of known classes to identify odd-one-out

Abstract

Object detection methods trained on a fixed set of known classes struggle to detect objects belonging to unknown classes in real-world scenarios. Open-world methodologies have emerged in recent years as a solution for the limitations of closed-set approaches. The main goal of open-world object detection is to detect and identify novelties while maintaining closed-set abilities. One common approach involves incorporating approximate supervision with pseudo-labels corresponding to candidate locations of objects, typically obtained in a class-agnostic manner. While previous attempts mainly rely on the appearance of objects, we propose that geometric cues provide a better solution as the source of pseudo-labels. By considering not just how objects look but also their shapes and relative locations, we aim to improve the system's ability to detect unfamiliar objects. Although additional supervision from pseudo-labels improves unknown object detection, it also introduces confusion for known classes. We observed a notable decline in the model's performance for detecting known objects in the presence of noisy pseudo-labels. To address this problem, we drew inspiration from human cognitive science. Studies about how humans mentally represent objects found that humans group objects based on their common attributes, which then helps to compare and identify the different ones given a group of objects. We applied a similar concept by organizing known object classes into a smaller set of superclasses by learning discriminative superclass representations. By doing so, our model can identify similarities between classes within a superclass, thereby facilitating the detection of unknown classes through an odd-one-out scoring mechanism. Our experiments on open-world detection benchmarks demonstrate significant improvements in unknown recall consistently across all tasks. Crucially, we achieve this without compromising known performance, thanks to better partitioning of the feature space with superclasses.

Sabit bir sınıf kümesi üzerinden, sadece belirli nesneler ile eğitilen nesne algılama yöntemleri, gerçek dünya senaryolarında bilinmeyen sınıflara ait nesneler ile karşılaştıklarında onları tespit etmekte zorlanır. Kapalı dünya varsamıyla eğitilen modellerin zayıf yönlerini çözmek adına, son yıllarda açık dünya yöntemleri ortaya çıkmıştır. Açık dünya nesne tespitindeki temel amaç, kapalı dünya varsımıyla eğitilen modellerin yeteneklerini korurken, yeni ve değişik olanları da tespit edebilmek ve tanımlayabilmektir. Yaygın bir yaklaşım olarak, nesnelerin olası konumlarına karşılık gelen ve genellikle nesne kategorilerinden bağımsız bir şekilde elde edilen sözde etiketler, modelin eğitiminde ek denetim sinyali olarak kullanılabilir. Önceki girişimler esas olarak nesnelerin görünümüne dayanırken, biz geometrik ipuçlarının sözde etiket kaynağı olarak daha iyi bir çözüm sağlayabileceğini öneriyoruz. Nesnelerin yalnızca görünüşünü değil aynı zamanda şekillerini ve göreceli konumlarını da göz önünde bulundurarak sistemin tanıdık olmayan nesneleri tespit etme yeteneğini geliştirmeyi amaçlıyoruz. Sahte etiketlerden gelen ek denetim, bilinmeyen nesne tespitini geliştirse de, bilinen sınıflar için de kafa karışıklığına neden olmaktadır. Gürültülü sözde etiketleri kullandığımızda, modelin bilinen nesnelerin tespiti performansında dikkate değer bir düşüş gözlemledik. Bu sorunu çözmek için bilişsel bilimden ilham aldık. Nesnelerin insan zihninde nasıl temsil edildiğine ilişkin yapılan araştırmalarda, insanların nesneleri ortak özelliklerine göre gruplandırdığı, ve bu özellik gruplarının daha sonra bir grup nesneyi karşılaştırmada kullanılarak aralarındaki farklı nesneyi tanımlamaya yardımcı olduğu bulundu. Biz de benzer bir konsepti uygulayarak, bilinen nesne sınıflarını daha küçük bir süper sınıf kümesi hiyerarşinde düzenledik, ve bu üst sınıflar için ayırt edici temsiller öğrendik. Böylelikle, modelimiz bir süper sınıf grubu içindeki sınıflar arasındaki benzerlikleri belirleyebilir ve bilinmeyen nesnelerle karsılaştığında benzer olmayanı bulma yaklaşımıyla öğrenilen kategorilerden kolayca ayrıştırabilir. Açık dünya algılama kıyaslamaları üzerindeki deneylerimiz, tüm görevlerde tutarlı olarak bilinmeyen nesnelerin tespitinde önemli geliştirmeler yakaladığımızı göstermektedir. En önemlisi, özellik alanının süper sınıflarla daha iyi bölümlenmesi sayesinde, bilinen kategorilerin performansından ödün vermeden bunu başarabiliyoruz.