Character.AI’nin Araştırma Çalışmaları
Character.AI, üretken video teknolojisi üzerindeki çalışmalarını yeni bir otoregresif difüzyon modeli geliştirdiğini duyurarak bir adım öteye taşıdı. TalkingMachines adı verilen bu model, yalnızca bir görüntü ve ses sinyalinden yapay zeka karakterlerinin gerçek zamanlı, ses odaklı videosunu üretebiliyor. Bu yenilik, yapay zeka karakterleriyle FaceTime tarzı görsel etkileşimlere yaklaşmayı hedefliyor.
Modelin Araştırma Süreci
Bu yeni model, hala araştırma aşamasında. Bir araştırma makalesi ve video demoları mevcut olsa da, henüz Character.AI uygulamasında kullanılabilir durumda değil. Bu teknoloji uygulamaya entegre edildiğinde, kullanıcıların yapay zeka ile daha sürükleyici rol yapma oyunlarına katılmalarına, etkileşimli hikaye anlatımına dahil olmalarına ve görsel dünya inşa etmelerine olanak tanıyacak.
Difüzyon Transformatörü (DiT) ve Hızlı İyileştirme
TalkingMachines modeli, Difüzyon Transformatörü (DiT) teknolojisi üzerine inşa edilmiştir. DiT, rastgele gürültüden detaylı görüntüler oluşturabilen ve bu görüntüleri mükemmel hale gelene kadar iyileştiren bir sistemdir. Character.AI bu sistemi inanılmaz derecede hızlı çalışacak şekilde optimize etmiş, böylece etkileşimler gerçek zamanlıymış gibi hissediliyor.
Kullanılan Teknikler
Modelin başarısını sağlamak için TalkingMachines, Akış Eşleşmeli Difüzyon, Ses Odaklı Çapraz Dikkat, Seyrek Nedensel Dikkat ve Asimetrik Damıtma gibi birkaç temel teknikten yararlanıyor. Akış Eşleşmeli Difüzyon, ince yüz ifadelerinden dramatik jestlere kadar birçok hareket üzerinde eğitiliyor, böylece yapay zeka karakterlerinin daha doğal hareket etmesine yardımcı oluyor.
Ses Odaklı Çapraz Dikkat ve Gerçek Zamanlı Etkileşim
Ses Odaklı Çapraz Dikkat, yapay zekanın yalnızca kelimeleri duymasını değil, aynı zamanda sesin ritmini, duraklamalarını ve tonlamalarını anlamasını sağlıyor. Bu, hassas ağız hareketleri, baş sallamaları ve göz kırpmalarına dönüştürülüyor. Seyrek Nedensel Dikkat ise videonun karelerini daha uygun maliyetli bir şekilde işleme imkanı tanıyor ve Asimetrik Damıtma ile videolar gerçek zamanlı olarak oluşturulabiliyor.
Etkileşimli Görsel ve İşitsel Yapay Zeka Karakterleri
Character.AI, bu araştırma atılımının yalnızca yüz animasyonu ile sınırlı olmadığını, gerçek zamanlı etkileşime girebileceğiniz interaktif görsel-işitsel yapay zeka karakterlerine yönelik bir adım olduğunu ifade ediyor. Model, fotogerçekçi insanlar, anime ve 3D avatarlar dahil olmak üzere çok çeşitli stilleri destekliyor ve doğal dinleme ve konuşma aşamalarıyla akışa olanak tanıyor. Eğer bu model piyasaya sürülürse, Character.AI bu tür bir başarıyı gerçekleştiren öncü şirketlerden biri olacak.
Modelin örneklerine bu adresten erişebilirsiniz.
News
