PI-Att: topology attention for segmentation networks through adaptive persistence image representation

Abstract

Segmenting multiple objects (e.g., organs) in medical images often requires an understanding of their topology, which simultaneously quantifies the shape of the objects and their positions relative to each other. This understanding is important for segmentation networks to generalize better with limited training data, which is common in medical image analysis. However, many popular networks were trained to optimize only pixel-wise performance, ignoring the topological correctness of the segmentation. In this thesis, we introduce a new topology-aware loss function, which we call PI-Att, that explicitly forces the network to minimize the topological dissimilarity between the ground truth and prediction maps. We quantify the topology of each map by the persistence image representation, for the first time in the context of a segmentation network loss. Besides, we propose a new mechanism to adaptively calculate the persistence image at the end of each step based on the network's performance. This adaptive calculation enables the network to learn topology outline in the first epochs, and then topology details towards the end of training. The effectiveness of the proposed PI-Att loss is demonstrated on two different datasets for aorta and great vessel segmentation in computed tomography images by quantitative segmentation performance, topological correctness, and visual results.

Medikal görüntülerde birden fazla nesneyi (örneğin organları) segmente etmek genellikle nesnelerin şekillerini ve birbirine göre pozisyonlarını eş zamanlı niceleyen topolojilerini anlamayı gerektirir. Bu anlama, segmentasyon ağlarının medikal görüntü analizinde yaygın olan kısıtlı sayıda eğitim verisi ile daha iyi genelleme yapabilmesi için önemlidir. Ancak, yaygın olarak kullanılan birçok ağ, segmentasyonda topolojik doğruluğu göz ardı ederek, sadece piksel bazlı performansı optimize etmek üzerine eğitilmektedir. Bu tezde, topolojik farkındalığı olan ve PI-Att olarak adlandırdığımız yeni bir kayıp fonksiyonunu ortaya koyuyoruz. Bu kayıp fonksiyonu, ağları, temel gerçek ve tahmin haritaları arasındaki topolojik farklılığı en aza indirmek için açık bir şekilde zorlar. Bu tez, kalıcılık görüntüsü gösterimi ile her bir görüntünün topolojik nicelemesini segmentasyon ağı kaybı bağlamında ilk kez yapmaktadır. Bunun yanısıra, her bir adım sonundaki ağ performansına bağlı olarak adaptif bir şekilde kalıcılık görüntüsünün hesaplanmasını sağlayan yeni bir mekanizma önermektedir. Bu önerilen adaptif hesaplama, modelin ilk başta topolojik genel anahatları ve devamında eğitimin sonuna doğru topolojik detayları öğrenmesine olanak tanır. Ortaya konulan PI-Att kayıp fonksiyonunun etkinliği bilgisayarlı tomografi görüntülerinde aort ve büyük damar segmentasyonu içeren iki farklı veri kümesi üzerinde nicel segmentasyon performansı, topolojik doğruluk ve görsel sonuçlar ile ortaya konmuştur.