3D shape recovery and tracking from multi-camera video sequences via surface deformation

Abstract

This paper addresses 3D reconstruction and modeling of time-varying real objects using multicamera video. The work consists of two phases. In the first phase, the initial shape of the object is recovered from its silhouettes using a surface deformation model. The same deformation model is also employed in the second phase to track the recovered initial shape through the time-varying silhouette information by surface evolution. The surface deformation/evolution model allows us to construct a spatially and temporally smooth surface mesh representation having fixed connectivity. This eventually leads to an overall space-time representation that preserves the semantics of the underlying motion and that is much more efficient to process, to visualize, to store and to transmit.Bu makale, çok kameralı video kullanarak zamanla değişen gerçek nesnelerin 3B yeniden yapılandırılmasını ve modellenmesini ele almaktadır. Çalışma iki aşamadan oluşmaktadır. İlk aşamada, nesnenin ilk şekli, bir yüzey deformasyon modeli kullanılarak silüetlerinden kurtarılır. Aynı deformasyon modeli, ikinci aşamada, yüzey evrimi yoluyla zamanla değişen siluet bilgisi yoluyla geri kazanılan ilk şekli izlemek için de kullanılır. Yüzey deformasyonu/evrimi modeli, sabit bağlantıya sahip uzamsal ve zamansal olarak pürüzsüz bir yüzey ağ temsili oluşturmamıza izin verir. Bu, sonunda, altta yatan hareketin anlamını koruyan ve işlemesi, görselleştirmesi, depolaması ve iletmesi çok daha verimli olan genel bir uzay-zaman temsiline yol açar.