Fotoğraf Haber
NVIDIA Instant NeRF teknolojisi, 2D fotoğrafları ‘bir yapay zeka ile’ 3D sahnelere dönüştürüyor!
Geleneksel bir kameranın 3 boyutlu bir sahneyi 2 boyutlu bir görüntüye dönüştürdüğünü hepimiz biliyoruz. Peki ya tersi? 2B görüntüleri gerçekçi bir 3B sahneye dönüştürmenin bir yolu var mı? NVIDIA Research’teki yapay zeka mühendisleri, ışığın nasıl davrandığını tahmin etmek için yapay zekayı kullanan ve ardından “farklı açılardan çekilmiş bir avuç 2B görüntüden” bir 3B sahneyi yeniden oluşturan bir süreç olan ters işleme üzerinde çalışıyor. NVIDIA Araştırma ekibi, bu görevi neredeyse anında gerçekleştirmek için bir yaklaşım geliştirdiğini söylüyor. Sinir ağı eğitimini kullanan ve hızlı işleme sağlayan türünün ilk modellerinden biridir.
NVIDIA, bu yaklaşımı NeRF olarak da bilinen sinirsel parlaklık alanlarına uygulamıştır. NVIDIA, Instant NeRF adlı yeni yaklaşımının şimdiye kadarki en hızlı NeRF tekniği olduğunu söylüyor. Bazı durumlarda, diğer yöntemlerden yaklaşık 1000 kat daha hızlıdır. Model, birkaç düzine fotoğraf üzerinde “dakikalar” içinde eğitim alabilir ve Instant NeRF, “onlarca milisaniye” içinde ortaya çıkan bir 3D sahneyi işleyebilir.
NeRF’ler, 2B görüntü girişlerini kullanarak 3B sahneleri oluşturmak için sinir ağlarını kullanır. Örneğin, bir kişinin fotoğraflarını her açıdan çekmeye çalıştığınızı varsayalım. Şimdi, elbette konunun olası her görünümünü kapsamayan birkaç düzine farklı açıyı yakaladığınızı düşünün. Bu 2B görüntü koleksiyonundan bir NeRF, boşlukları doldurmak için AI kullanır ve ardından genel sahneyi 3B olarak yeniden yapılandırmak için bir sinir ağını eğitir.
Instant NeRF’yi farklı kılan nedir? NVIDIA, ‘Kısmi bir görüşe dayalı olarak bir nesnenin derinliğini ve görünümünü tahmin etmek insanlar için doğal bir beceri iken, yapay zeka için zorlu bir görevdir’ diye yazıyor. Bu talep, erken NeRF modellerinin eğitiminin saatler sürdüğü anlamına gelir. Anında NeRF, NVIDIA’nın tekniği olan çok çözünürlüklü karma ızgara kodlamasını kullanarak oluşturma süresini ‘birkaç büyüklük sırası’ ile kısaltır. NVIDIA GPU’lar için optimize edilen teknik çok daha hızlıdır.
NVIDIA grafik araştırmalarından sorumlu başkan yardımcısı David Luebke, “Çokgen ağlar gibi geleneksel 3B temsiller vektör görüntülerine benziyorsa, NeRF’ler bitmap görüntüleri gibidir: yoğun bir şekilde ışığın bir nesneden veya bir sahneden yayılma şeklini yakalarlar” diyor. “Bu anlamda, Anında NeRF 3D için dijital kameralar ve JPEG sıkıştırması 2D fotoğrafçılık için ne kadar önemliyse – 3D yakalama ve paylaşmanın hızını, kolaylığını ve erişimini büyük ölçüde artırıyor olabilir.”
NVIDIA, Instant NeRF’nin ‘sanal dünyalar için avatarlar veya sahneler oluşturmak, video konferans katılımcılarını ve ortamlarını 3D olarak yakalamak veya 3D dijital haritalar için sahneleri yeniden oluşturmak için kullanılabileceğini söylüyor.’ Instant NeRF teknolojisi, çevredeki gerçek dünya nesnelerini daha iyi anlamak için robotları ve kendi kendini süren arabaları eğitmek için de kullanılabilir.
