Maqaal cusub Point-E: Nidaam loogu talagalay soo saarista daruuraha dhibcaha 3D ee calaamadaha adag, kooxda cilmi-baarista OpenAI waxay soo bandhigaysaa Point E, nidaamka 3D qoraalka daruuriga ah ee shuruudaha kaas oo isticmaala moodooyinka faafinta si loo abuuro qaabab 3D kala duwan oo adag oo ay wadaan qoraal adag tilmaamo.daqiiqado gudaheed hal GPU.
Waxqabadka cajiibka ah ee moodooyinka jiilka casriga ah ee maanta ayaa kiciyay cilmi baadhista jiilka walxaha qoraalka 3D.Si kastaba ha noqotee, si ka duwan moodooyinka 2D, kuwaas oo soo saari kara wax soo saar daqiiqado ama xitaa ilbiriqsi, moodooyinka wax-soo-saarka shayga waxay caadi ahaan u baahan yihiin dhowr saacadood oo shaqo GPU ah si ay u soo saaraan hal muunad.
Maqaal cusub Point-E: Nidaam loogu talagalay abuurista daruuraha dhibcaha 3D ee calaamadaha adag, kooxda cilmi-baarista OpenAI waxay soo bandhigaysaa Point · E, nidaam shuruudo qoraal ah oo loogu talagalay daruuraha dhibcaha 3D.Habkan cusubi waxa uu isticmaalayaa qaab faafin si uu u abuuro qaabab 3D kala duwan oo adag oo ka imanaya calaamadaha qoraalka kakan hal daqiiqo ama laba kaliya hal GPU.
Kooxdu waxay diiradda saaraysaa caqabadda u beddelashada qoraalka 3D, taas oo muhiim u ah dimuqraadiyeynta abuurista 3D ee codsiyada adduunka dhabta ah ee u dhexeeya xaqiiqada dhabta ah iyo ciyaaraha ilaa naqshadaynta warshadaha.Hababka hadda jira ee qoraalka loogu beddelayo 3D waxay u kala baxaan laba qaybood, kuwaas oo mid kastaaba leeyahay cilladihiisa: 1) moodooyinka wax-soo-saarka ayaa loo isticmaali karaa in lagu soo saaro muunado si hufan, laakiin si hufan uma cabbiri karaan calaamadaha qoraalka ee kala duwan iyo kuwa kakan;2) qaab sawir-qoraal ah oo horay loo tababaray si uu u maareeyo tilmaamo qoraal ah oo kakan oo kala duwan, laakiin habkani waa xisaabin xoog leh oo qaabku si fudud ayuu ugu dhegi karaa minima maxaliga ah ee aan u dhigmin shay 3D macno leh ama isku xidhan.
Sidaa darteed, kooxdu waxay sahamisay hab kale oo ujeedadeedu tahay in la isku daro xoogga labada hab ee kor ku xusan, iyada oo la adeegsanayo qaabka faafinta qoraalka-ka-sawirka ee lagu tababaray qaybo badan oo sawir-qoritaan ah (oo u oggolaanaya inay qabato calaamadaha kala duwan iyo kuwa kakan) iyo qaabka faafinta sawirka 3D oo lagu tababaray tiro yar oo lammaane-sawir qoraal ah.image-3D xogta lammaane.Tusaalaha qoraalka-ilaa-sawirku marka hore waxa uu muunadeeyaa sawirka gelinta si uu u abuuro hal matalaad ah, iyo qaabka sawirka-3D waxa uu abuuraa daruur dhibic 3D ah oo ku salaysan sawirka la doortay.
Xirmada wax-soo-saarka talisku waxay ku salaysan tahay qaab-dhismeed-abuureed oo dhawaan la soo jeediyay oo shuruudaysan looga soo saari lahaa sawirrada qoraalka (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Waxay adeegsadaan moodel GLIDE ah oo leh 3 bilyan oo cabbir GLIDE ah (Nichol et al., 2021), si fiican loo hagaajiyay moodooyinka 3D ee la sameeyay, sida moodalkooda qoraalka-u-beddelka, iyo noocyo kala duwanaansho ah oo soo saara daruuraha dhibicda RGB qaabka isbeddelka.sawiro si sawir ah.moodooyinka 3D.
In kasta oo shaqadii hore loo adeegsaday naqshadaha 3D si ay uga baaraandegto daruuraha dhibcaha, cilmi-baarayaashu waxay isticmaaleen qaab beddele ku-saleysan (Vaswani et al., 2017) si loo hagaajiyo waxtarka.Qaab dhismeedka qaabka fidinta, sawirada daruuraha ayaa marka hore lagu quudiyaa qaab horay loo tababaray oo ViT-L/14 CLIP ah ka dibna meshes-yada wax soo saarka ayaa lagu quudiyaa beddelaha sidii calaamado.
Daraasaddooda la taaban karo, kooxdu waxay barbardhigtay habka Point·E ee la soo jeediyay iyo moodooyinka kale ee 3D ee abuurista ee calaamadaha dhibcaha COCO ogaanshaha shayga, qaybinta, iyo xogta saxeexa.Natiijooyinku waxay xaqiijinayaan in Point·E uu awoodo inuu soo saaro qaabab 3D kala duwan oo adag oo ka imanaya calaamadaha qoraalka ee adag oo ay ku dedejiyaan waqtiga fikradda hal ilaa laba amar oo waaweyn.Kooxdu waxay rajeynayaan in shaqadoodu ay dhiirigelin doonto cilmi-baaris dheeraad ah oo ku saabsan isku-dhafka qoraalka 3D.
Habka faafinta daruuriga ee horay loo tababaray iyo koodka qiimaynta ayaa laga helayaa mashruuca GitHub.Dukumeenti Point-E: Nidaam lagu abuurayo daruuraha dhibcaha 3D ee calaamado adag ayaa saaran arXiv.
Waan ognahay inaadan rabin inaad seegto wax war ah ama daahfur cilmiyeed.Isdiiwaangali wargeyskeena caanka ah ee Synced Global AI todobaadlaha ah si aad u hesho cusboonaysiinta AI todobaadle ah.
Waqtiga boostada: Dec-28-2022