Key takeaways
- Nvidia viste for nylig en teknik, der gør 2D-billeder til 3D-scener på få sekunder.
- Metoden bruger computerkraft til at anslå, hvordan lys opfører sig i den virkelige verden.
- Metaverset er et område, hvor 3D-scener er nyttige, fordi de kan ses fra ethvert kameraperspektiv.
Ny kunstig intelligens (AI)-teknologi fra Nvidia kan snart forvandle 2D-billeder til 3D-scener på få sekunder, hvilket gør skabelsen af fordybende virtuelle rum som metaverset lige så trivielt som tekstbehandling.
Nvidia demonstrerede for nylig fotometoden kaldet Instant NeRF, som bruger computerkraft til at anslå, hvordan lys opfører sig i den virkelige verden. Det kan forvandle dine gamle billeder til en videospilscene, eller det kan bruges til at træne robotter og selvkørende biler til at forstå størrelsen og formen af objekter fra den virkelige verden.
"3D-billeddannelse bringer en ny verden af transformation," fort alte Oren Debbi, administrerende direktør for Visionary.ai, en computervisionsvirksomhed, der kører sine 3D-algoritmer på Nvidia-platformen, til Lifewire i et e-mailinterview. "Ved at bruge 3D efterligner du virkelig dybde i scenen og får billedet til at fremstå mere levende og realistisk. Udover AR/VR og industrielle kameraer, hvor 3D er meget almindeligt, ser vi nu, at det bliver brugt på næsten alle smartphones uden bruger selv ved det."
Tilføjelse af dimensioner
Det første øjeblikkelige billede, taget for 75 år siden med et polaroid-kamera, havde til formål hurtigt at fange 3D-verdenen i et 2D-billede. Nu arbejder AI-forskere på det modsatte: at gøre en samling af stillbilleder til en digital 3D-scene på få sekunder.
Kendt som invers gengivelse, processen bruger AI til at tilnærme, hvordan lys opfører sig i den virkelige verden, hvilket gør det muligt for forskere at rekonstruere en 3D-scene fra en håndfuld 2D-billeder taget i forskellige vinkler. Nvidia hævder, at det har udviklet en tilgang, der udfører denne opgave næsten øjeblikkeligt.
Nvidia brugte denne tilgang med en ny teknologi kaldet neurale udstrålingsfelter eller NeRF. Virksomheden siger, at resultatet, kaldet Instant NeRF, er den hurtigste NeRF-teknik til dato. Modellen tager kun sekunder at træne på et par dusin stillbilleder og kan derefter gengive den resulterende 3D-scene inden for snesevis af millisekunder.
"Hvis traditionelle 3D-repræsentationer som polygonale masker er beslægtet med vektorbilleder, er NeRF'er som bitmapbilleder: de fanger tæt måden lys udstråler fra et objekt eller i en scene," David Luebke, vicepræsident for grafisk forskning på Nvidia sagde i en pressemeddelelse: "I den forstand kunne Instant NeRF være lige så vigtig for 3D, som digitale kameraer og JPEG-komprimering har været for 2D-fotografering - hvilket i høj grad øger hastigheden, letheden og rækkevidden af 3D-optagelse og -deling."
Indsamling af data for at fodre en NeRF kræver, at det neurale netværk optager et par dusin billeder taget fra flere positioner rundt om scenen, såvel som kamerapositionen for hvert af disse billeder.
NeRF træner et lille neur alt netværk til at rekonstruere scenen ved at forudsige farven på lys, der udstråler i enhver retning, fra ethvert punkt i 3D-rummet.
The Appeal of 3D
Metaverset er et område, hvor 3D-scener er nyttige, fordi de kan ses fra ethvert kameraperspektiv, fort alte Brad Quinton, grundlægger af Perceptus Platform for augmented reality (AR), til Lifewire i et e-mailinterview. Ligesom vi kan gå gennem et rum i det virkelige liv og se dets indhold fra mange forskellige vinkler, med en rekonstrueret 3D-scene, kan vi virtuelt bevæge os gennem et rum og se det fra ethvert perspektiv.
"Dette kan være særligt nyttigt til at skabe miljøer til brug i virtual reality," sagde Quinton.
Programmer som Apples Object Capture bruger en teknik kaldet fotogrammetri til at skabe virtuelle 3D-objekter ud fra en række 2D-billeder. 3D-modellerne vil blive brugt flittigt i virtual reality og AR-applikationer, forudsagde Quinton. For eksempel bruger nogle AI'er, som den i Perceptus AR-platformen, 3D-modeller til at skabe en forståelse af den virkelige verden, hvilket giver mulighed for AR-applikationer i re altid.
Brugen af 3D-billeder efterligner også virkelighedens dybde i en scene og får billedet til at fremstå mere levende og realistisk, sagde Debbi. For at skabe en Bokeh-effekt (også kendt som portrættilstand eller filmtilstand) er 3D-dybdekortlægning nødvendig. Teknikken bruges på næsten alle smartphones.
"Dette er allerede standarden for professionelle videografer, der optager film, og dette er ved at blive standarden for enhver forbruger," tilføjede Debbi.
