Character.AI, üretken video teknolojisi üzerindeki çalışmalarını yeni bir otoregresif difüzyon modeli geliştirdiğini duyurarak bir adım öteye taşıdı. TalkingMachines adı verilen bu model, yalnızca bir görüntü ve ses sinyalinden yapay zeka karakterlerinin gerçek zamanlı, ses odaklı videosunu üretebiliyor. Bu yenilik, yapay zeka karakterleriyle FaceTime tarzı görsel etkileşimlere yaklaşmayı hedefliyor.
Bu yeni model, hala araştırma aşamasında. Bir araştırma makalesi ve video demoları mevcut olsa da, henüz Character.AI uygulamasında kullanılabilir durumda değil. Bu teknoloji uygulamaya entegre edildiğinde, kullanıcıların yapay zeka ile daha sürükleyici rol yapma oyunlarına katılmalarına, etkileşimli hikaye anlatımına dahil olmalarına ve görsel dünya inşa etmelerine olanak tanıyacak.
TalkingMachines modeli, Difüzyon Transformatörü (DiT) teknolojisi üzerine inşa edilmiştir. DiT, rastgele gürültüden detaylı görüntüler oluşturabilen ve bu görüntüleri mükemmel hale gelene kadar iyileştiren bir sistemdir. Character.AI bu sistemi inanılmaz derecede hızlı çalışacak şekilde optimize etmiş, böylece etkileşimler gerçek zamanlıymış gibi hissediliyor.
Modelin başarısını sağlamak için TalkingMachines, Akış Eşleşmeli Difüzyon, Ses Odaklı Çapraz Dikkat, Seyrek Nedensel Dikkat ve Asimetrik Damıtma gibi birkaç temel teknikten yararlanıyor. Akış Eşleşmeli Difüzyon, ince yüz ifadelerinden dramatik jestlere kadar birçok hareket üzerinde eğitiliyor, böylece yapay zeka karakterlerinin daha doğal hareket etmesine yardımcı oluyor.
Ses Odaklı Çapraz Dikkat, yapay zekanın yalnızca kelimeleri duymasını değil, aynı zamanda sesin ritmini, duraklamalarını ve tonlamalarını anlamasını sağlıyor. Bu, hassas ağız hareketleri, baş sallamaları ve göz kırpmalarına dönüştürülüyor. Seyrek Nedensel Dikkat ise videonun karelerini daha uygun maliyetli bir şekilde işleme imkanı tanıyor ve Asimetrik Damıtma ile videolar gerçek zamanlı olarak oluşturulabiliyor.
Character.AI, bu araştırma atılımının yalnızca yüz animasyonu ile sınırlı olmadığını, gerçek zamanlı etkileşime girebileceğiniz interaktif görsel-işitsel yapay zeka karakterlerine yönelik bir adım olduğunu ifade ediyor. Model, fotogerçekçi insanlar, anime ve 3D avatarlar dahil olmak üzere çok çeşitli stilleri destekliyor ve doğal dinleme ve konuşma aşamalarıyla akışa olanak tanıyor. Eğer bu model piyasaya sürülürse, Character.AI bu tür bir başarıyı gerçekleştiren öncü şirketlerden biri olacak.
Modelin örneklerine bu adresten erişebilirsiniz.
Yorum Yap