Piksel Düzeyinde Yenilik
University of Rochester ve NVIDIA’dan araştırmacılar, yapay zeka görüntü üretiminde kullanıcılara piksel düzeyinde kontrol sağlayan yeni modeller geliştirdi. Bu model, kullanıcıların belirli detayları değiştirmelerine olanak tanırken, diğer unsurları istemeden etkilemiyor.
Piksel alanı difüzyon modeli, mevcut en gelişmiş görüntü üretim araçlarının temelini oluşturan latent alan modelleri ile hemen hemen aynı performansa ulaşabiliyor. Bu gelişme, yapay zeka video üretiminde daha büyük yaratıcılık kontrolü sağlama potansiyeli taşıyor.
Mevcut Sorunlar ve Çözüm
Bir yapay zeka metin-görüntü üreteci kullanmış olanlar, görüntünün neredeyse mükemmel görünmesine rağmen, küçük bir detayı düzelttiğinde başka bir şeyin bozulması gibi yaygın bir sorunla karşılaşmıştır. Bu sorun, AI modellerinin yapısı nedeniyle ortaya çıkıyor.
Mevcut en gelişmiş yapay zeka görüntü üreticileri, kavramları (örneğin, bir kedi veya köpek) temel detaylarına sıkıştırarak depolayan latent alan difüzyon modelleri kullanıyor. Ancak bu yöntem, kullanıcıların görüntülerin belirli kısımlarını kontrol etme yeteneğini kaybettiriyor.
PixelDiT ve PixelDiT2 Modelleri
Jiebo Luo ve ekibi, latent alanı piksel alanı ile değiştiren PixelDiT adında bir model geliştiren ilk ekiplerden biriydi. Bu model, kullanıcıların görüntüde belirli bölgelere odaklanmasına olanak tanıyor. Örneğin, bir kişinin yüzündeki gözlüklerin piksel detaylarını düzeltmek veya bir arabanın rengini ayarlamak mümkün hale geliyor.
Ekibin daha güçlü bir modeli olan PixelDiT2, piksel alanı difüzyonunu verimli bir şekilde uygulayarak, bireysel piksel kontrolü sunan bir çözüm sunuyor. PixelDiT2’nin tanıtımı, bu Aralık ayında Neural Information Processing Systems konferansında yapılacak.
Video Üretimi Üzerine Çalışmalar
Ekibin önceliği, şimdi daha zorlu bir alan olan video üretimine yönelmek. Luo, “Video, kareler arasında pürüzsüz geçişler sağlamak zorunda olduğunuz için büyük bir zorluk teşkil ediyor; aksi takdirde insan gözüne komik görünebilir,” diyor.
Ayrıca, video üretiminde çalışılması gereken daha fazla veri bulunuyor. Ancak Luo, PixelDiT2 ile elde ettikleri ilerlemelerin, piksel alanında yapay zeka video üretimini takip etmek için güçlü bir konumda olduklarını belirtiyor.
