Unpaired aired image-to-image translation with learnable tookens in diffusionGAN

Abstract

Stable Diffusion models have recently achieved outstanding results in image generation tasks, surpassing prior state-of-the-art models based on Generative Adversarial Networks (GANs). While GANs were computationally efficient, their training stability often posed challenges. We introduce a novel framework that seeks to combine the strengths of both Stable Diffusion and GAN architectures for unpaired image-to-image translation. Our approach avoids the need for training Stable Diffusion from scratch by using pretrained token embeddings and a discriminator within a GAN-like training paradigm. This eliminates the requirement for pre-specified text prompts, as the framework learns suitable prompts through embeddings to perform domain-to-domain translation in an unsupervised setting. We show high-quality images generated by our framework and discuss promising possible ways for future enhancements.

Kararlı Difüzyon modelleri (Stable Diffusion) , görüntü sentezi alanında önemli bir dönüm noktası oluşturarak, daha önce Üretken Rekabetçi Ağlar (GAN) tarafından elde edilen sonuçları geride bırakmıştır. GAN'ların eğitim sürecindeki istikrarsızlık sorunları, Kararlı Difüzyon'un daha etkili bir alternatif olmasını sağlamıştır. Bu çalışmada, görüntüden görüntüye çeviri için hem Kararlı Difüzyon'un güçlü yönlerini hem de GAN'ların eğitim paradigmasını bir araya getiren yeni bir mimari önermekteyiz. Önerilen yeni model, önceden eğitilmiş Kararlı Difüzyon modelini kullanarak, metin belirteçleri ve bir ayırıcı (Discriminator) sayesinde sıfırdan eğitim gerektirmeden, farklı uzaylar arasında dönüşüm yapabilmektedir. Bu durum, önceden belirlenmiş metin istemlerine olan ihtiyacı ortadan kaldırmakta ve model, denetimsiz bir ortamda daha esnek bir şekilde öğrenme yeteneği kazanmaktadır. Tezimizde, modelin ürettiği yüksek kaliteli görüntülerle birlikte, gelecekteki çalışmalar için potansiyel iyileştirme alanlarını tartışıyoruz.