Video frame prediction via deep learning

Abstract

This paper provides new results over our previous work presented in ICIP 2019 on the performance of learned frame prediction architectures and associated training methods. More specifically, we show that using an end-to-end residual connection in the fully convolutional neural network (FCNN) provides improved performance. In order to provide comparative results, we trained a residual FCNN, a convolutional RNN (CRNN), and a convolutional long-short term memory (CLSTM) network for next frame prediction using the mean square loss. We performed both stateless and stateful training for recurrent networks. Experimental results show that the residual FCNN architecture performs the best in terms of peak signal to noise ratio (PSNR) at the expense of higher training and test (inference) computational complexity. The CRNN can be stably and efficiently trained using the stateful truncated backpropagation through time procedure, and requires an order of magnitude less inference runtime to achieve an acceptable performance in near real-time. / Bu bildiri, ICIP 2019’da sundugumuz öğrenilmiş video çerçeve öngörü mimarileri ve egitim yöntemleri karşılaştırılması çalışmamız üzerine yeni sonuçlar vermektedir. Daha spesifik olarak, tamamen evrisimsel sinir agında (FCNN) uçtan uca kalıntı bağlantısı kullanarak öngörü performansında gelişim sağlandığını gösteriyoruz. Sonuçları karşılaştırmak için, ortalama kare kaybını kullanarak sonraki kareyi öngörmek için kalıntı baglantılı FCNN, evrisimsel bir RNN (CRNN) ve evrisimsel uzun-kısa süreli bellek (CLSTM) agı eğittik. Yinelemeli ağlar için durum bilgisi taşımayan (stateless) ve taşıyan (stateful) egitim gerçekleştirdik. Deneysel sonuçlar, kalıntı baglantılı FCNN mimarisinin yüksek egitim ve test (çıkarım) hesaplama karmaşıklığı pahasına PSNR açısından en iyi performansı verdigini göstermektedir. CRNN, durum bilgisi taşıyan zamanda geri yayılım yoluyla kararlı olarak egitilebilmekte ve kabul edilebilir bir performansla gerçek-zamanlıya yakın çerçeve öngörüsü yapabilmektedir.