中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

打開(kāi)APP
userphoto
未登錄

開(kāi)通VIP,暢享免費(fèi)電子書(shū)等14項(xiàng)超值服

開(kāi)通VIP
基于AIGC的3D場(chǎng)景創(chuàng)作引擎概述

通過(guò)改變3D場(chǎng)景制作流程復(fù)雜、成本高、門(mén)檻高、流動(dòng)性差的現(xiàn)狀,讓商家像玩轉(zhuǎn)2D一樣去玩轉(zhuǎn)3D,讓普通消費(fèi)者也能參與到3D內(nèi)容創(chuàng)作和消費(fèi)中,真正實(shí)現(xiàn)內(nèi)容生產(chǎn)模式從PGC/UGC過(guò)渡到AIGC,是我們3D場(chǎng)景智能創(chuàng)作引擎一直追求的目標(biāo)。

前言

隨著元宇宙的大火,國(guó)內(nèi)外各大廠紛紛下場(chǎng)開(kāi)始為下一代互聯(lián)網(wǎng)技術(shù)布局,旨在為用戶提供更好的體驗(yàn)。體驗(yàn)包括方方面面,比如更好的游戲體驗(yàn)、更好的社交體驗(yàn)、更高效的辦公體驗(yàn)當(dāng)然也包括更好的消費(fèi)體驗(yàn)。作為國(guó)內(nèi)最大的電商平臺(tái),我們團(tuán)隊(duì)也在持續(xù)思考如何基于元宇宙的技術(shù),給消費(fèi)者帶來(lái)更好的購(gòu)物體驗(yàn)以及給商家?guī)?lái)更好的營(yíng)商體驗(yàn)。

回歸到電商“人、貨、場(chǎng)”三要素上,通過(guò)虛擬人技術(shù)以及商品三維重建技術(shù),“人”和“貨”在3D化上已經(jīng)邁出了重要的一步,而“場(chǎng)”作為連接“人”和“貨”的重要載體,目前還嚴(yán)重依賴于專業(yè)人員通過(guò)專業(yè)的DCC軟件進(jìn)行創(chuàng)作,門(mén)檻高、耗時(shí)長(zhǎng)、成本高、效率低,這就導(dǎo)致了中小商家以及C端用戶在現(xiàn)階段難以大規(guī)模參與,即使是頭部大品牌商家制作的3D場(chǎng)景內(nèi)容也很有限。然而,大規(guī)模的虛擬世界需要有大規(guī)模的虛擬內(nèi)容作為支撐進(jìn)行構(gòu)建,基于AIGC的能力加速“場(chǎng)”的自動(dòng)化構(gòu)建從而降低3D場(chǎng)景制作門(mén)檻就顯得非常有必要。

3D場(chǎng)景制作流程概述

3D場(chǎng)景制作在游戲行業(yè)已經(jīng)形成了一套非常成熟的工業(yè)化、流水線生產(chǎn)的解決方案。下面通過(guò)游戲行業(yè)場(chǎng)景制作方式來(lái)簡(jiǎn)單介紹一下3D場(chǎng)景制作的整體流程。游戲中一個(gè)完整的場(chǎng)景制作流量一般可以分成如下六個(gè)步驟:

  1. 游戲策劃提需求
  2. 原畫(huà)師承接,并繪制出對(duì)應(yīng)的原畫(huà)
  3. 建模師制作對(duì)應(yīng)的三維模型和材質(zhì)貼圖
  4. 綁定師架設(shè)骨骼、蒙皮、綁定控制器進(jìn)行角色驅(qū)動(dòng)
  5. 動(dòng)畫(huà)師會(huì)采用動(dòng)作捕捉,或者手動(dòng)設(shè)定關(guān)鍵幀的方式制作動(dòng)畫(huà)資源
  6. 場(chǎng)景編輯師在游戲引擎中搭建游戲場(chǎng)景

圖片來(lái)源:https://baijiahao.baidu.com/s?id=1730605368628365612&wfr=spider&for=pc

當(dāng)然,構(gòu)建一個(gè)電商場(chǎng)景的3D內(nèi)容其復(fù)雜度遠(yuǎn)低于一個(gè)龐大的游戲場(chǎng)景,但相關(guān)的流程基本是一致的,比如商家想要在虛擬世界中構(gòu)建一個(gè)店鋪進(jìn)行商業(yè)活動(dòng),那么整個(gè)店鋪的搭建也大體需要遵循上面的流程

電商3D場(chǎng)景拆解

電商域的3D場(chǎng)景由小到大一般可以分成展示單品的3D場(chǎng)景展示店鋪的3D場(chǎng)景、商業(yè)街區(qū)場(chǎng)景、虛擬城市場(chǎng)景,如下圖所示:

由于街區(qū)是店鋪的集合而城市是街區(qū)的集合,因此只要做好單品展示場(chǎng)景和店鋪展示場(chǎng)景便能基于這兩個(gè)基礎(chǔ)能力跟搭積木一樣的實(shí)現(xiàn)街區(qū)或者城市的構(gòu)建。

下面以店鋪為例,對(duì)虛擬店鋪場(chǎng)景的構(gòu)造進(jìn)行拆解:

上圖標(biāo)識(shí)了構(gòu)建一個(gè)虛擬店鋪需要用到的所有元素,跟實(shí)體店鋪類似,一個(gè)虛擬店鋪的構(gòu)建也包含了店鋪裝修所有的環(huán)節(jié):硬裝、軟裝、軟裝布局、布光、商品擺放等,如果是單品場(chǎng)景展示,還需要額外考慮商品運(yùn)鏡。

3D場(chǎng)景生成技術(shù)介紹

?3D場(chǎng)景智能創(chuàng)作引擎技術(shù)架構(gòu)

上述為AIGC 3D場(chǎng)景智能創(chuàng)作引擎技術(shù)架構(gòu),下面介紹一下創(chuàng)作引擎核心的幾個(gè)算法。

?前背景生成技術(shù)

前背景生成技術(shù)核心解決構(gòu)建的3D場(chǎng)景與待展示的商品或者店鋪相匹配問(wèn)題。即給定一款商品生成與之匹配的3D場(chǎng)景對(duì)該商品進(jìn)行展示或者給定一個(gè)店鋪的商品生成與這批商品調(diào)性相符的店鋪場(chǎng)景。

對(duì)于不同品類的商品,所需場(chǎng)景復(fù)雜度是完全不一樣的。以手機(jī)和沙發(fā)為例,一般展示手機(jī)的3D場(chǎng)景以抽象的風(fēng)格為主,比如星空、天空、或者一些抽象藝術(shù)風(fēng)類似于手機(jī)內(nèi)置的壁紙其主要目的是配合手機(jī)的外觀以及屏幕壁紙顏色進(jìn)行展示,整體場(chǎng)景相對(duì)簡(jiǎn)單,而展示沙發(fā)一般以實(shí)景場(chǎng)景為主并且需要在一個(gè)非常好看的客廳空間進(jìn)展展示,為了營(yíng)造溫馨或者奢華的視覺(jué)效果還需額外大量的輔搭物品,如下圖所示:

為了解決不同復(fù)雜度場(chǎng)景生成問(wèn)題,我們構(gòu)建了兩套場(chǎng)景生成技術(shù),以下簡(jiǎn)稱單場(chǎng)景生成技術(shù)復(fù)雜場(chǎng)景生成技術(shù),下面分別介紹這兩種技術(shù)方案

  • 簡(jiǎn)單場(chǎng)景生成技術(shù)

簡(jiǎn)單場(chǎng)景生成技術(shù)核心解決場(chǎng)景內(nèi)貼圖生成問(wèn)題,根據(jù)不同的商品生成與之匹配的場(chǎng)景貼圖,并用生成的貼圖根據(jù)一定的場(chǎng)景構(gòu)建方式構(gòu)建出新的場(chǎng)景,從而完成簡(jiǎn)單3D場(chǎng)景創(chuàng)作。我們采用的技術(shù)方案是基于Diffusion Model進(jìn)行貼圖生成,模型結(jié)構(gòu)如下圖所示:

給手機(jī)生成的星空背景貼圖如下圖所示:

同時(shí),我們基于手機(jī)屏幕壁紙也做了一些創(chuàng)意的貼圖生成,效果如下圖所示:

直接根據(jù)手機(jī)壁紙進(jìn)行場(chǎng)景貼圖生成,構(gòu)造與手機(jī)相符的3D場(chǎng)景。同時(shí)也可以基于該技術(shù)進(jìn)行AI創(chuàng)意輸出,設(shè)計(jì)師在搭建場(chǎng)景時(shí)給到設(shè)計(jì)師更多的靈感輸入。另外,基于AIGC生成貼圖的好處在于不受圖片版權(quán)限制。

  • 復(fù)雜場(chǎng)景生成技術(shù)

如上述沙發(fā)的例子,在構(gòu)建復(fù)雜場(chǎng)景時(shí)僅僅考慮場(chǎng)景貼圖是遠(yuǎn)遠(yuǎn)不夠的,需要圍繞該商品構(gòu)建整個(gè)客廳場(chǎng)景,硬裝上包括背景墻、地板、燈具、窗簾等等、軟裝上包括輔搭家具、輔搭配飾、地毯等等。

如上圖所示,我們先后嘗試過(guò)四種生成方案,均未取得理想的效果,原因如下:

  1. 基于pair 1生成N方案:該方法直接將1->N的問(wèn)題當(dāng)成多個(gè)1->1的問(wèn)題來(lái)處理,缺點(diǎn)是,搭配不存在遞推關(guān)系,即A與B搭,A與C搭,不能得出結(jié)論說(shuō)B與C搭,所以,一旦生成的序列過(guò)長(zhǎng),基本沒(méi)有審美可言,基于我們提出的BLEU n-gram的評(píng)測(cè)方法效果最差;
  2. TransE方案:主要研究如何在更高位空間內(nèi)解決遞推關(guān)系,缺點(diǎn)是在有限規(guī)模的數(shù)據(jù)集下,不能找到一個(gè)高維空間可以對(duì)所有的家具進(jìn)行表達(dá),進(jìn)而導(dǎo)致遞推關(guān)系不成立;
  3. transformer方案:需要大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練,由于設(shè)計(jì)域的數(shù)據(jù)集都比較小導(dǎo)致訓(xùn)練不充分,匹配關(guān)系基本都學(xué)得不夠好,其向量?jī)?nèi)聚性也不夠好;
  4. GCN方案:該方法的優(yōu)點(diǎn)是節(jié)點(diǎn)的度越大,表征得越充分,度越少,表征得越不充分,極端情況是度為0,表征能力就很差。很適合解類似于完形填空的N生成1問(wèn)題,針對(duì)1生成N問(wèn)題,初始情況下度為0,很難穩(wěn)定生成比較好的場(chǎng)景;

設(shè)計(jì)領(lǐng)域存在一個(gè)明顯的設(shè)計(jì)特點(diǎn),物理空間上越接近的物體其相關(guān)性要求越高,還是以沙發(fā)為例,比如客廳的主沙發(fā)和副沙發(fā),往往要求其在款式、顏色、風(fēng)格上要保持一致,物理空間距離越遠(yuǎn)設(shè)計(jì)上的自由度就會(huì)越大,比如客廳的沙發(fā)和臥室的床或者餐廳的餐桌之間設(shè)計(jì)自由度就會(huì)很高,沒(méi)有明顯的限制。

根據(jù)設(shè)計(jì)與物理空間遠(yuǎn)近強(qiáng)相關(guān)這一關(guān)系,我們對(duì)原有的transformer進(jìn)行了部分改進(jìn),在復(fù)雜場(chǎng)景中將待生成的輔搭物品根據(jù)空間距離劃分成多個(gè)組,從而將一次性生成一整個(gè)長(zhǎng)序列分解成生成多個(gè)強(qiáng)相關(guān)的短序列組合,同時(shí)每個(gè)短序列又作為先驗(yàn)知識(shí),用于生成下一個(gè)短序列,這樣做的好處是能夠保證局部空間的強(qiáng)相關(guān)性以及當(dāng)前空間與其他空間的相容性,而且實(shí)驗(yàn)發(fā)現(xiàn)能大大降低對(duì)樣本的消耗量。通過(guò)實(shí)踐我們發(fā)現(xiàn)該方案不僅適用于單商品的場(chǎng)景生成,也適用于店鋪維度的場(chǎng)景生成,整體的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:

?運(yùn)鏡技術(shù)

構(gòu)建純3D場(chǎng)景不會(huì)涉及到運(yùn)鏡相關(guān)的技術(shù),然而一旦需要把3D場(chǎng)景轉(zhuǎn)成內(nèi)容進(jìn)行分發(fā),比如基于3D場(chǎng)景生成圖片用于制作寶貝的商品主圖,或者基于3D場(chǎng)景制作短視頻在各大短視頻平臺(tái)進(jìn)行分發(fā),或者基于3D場(chǎng)景制作全景圖進(jìn)行3D展示,或者在虛擬世界的虛擬屏幕上進(jìn)行廣告投放時(shí),智能運(yùn)鏡技術(shù)就顯得非常有必要。智能運(yùn)鏡技術(shù)可以類比成一個(gè)虛擬攝影師,通過(guò)這個(gè)虛擬攝影師可以在已經(jīng)生成的3D場(chǎng)景里拍攝出非常好看的圖片、視頻、全景圖等優(yōu)質(zhì)素材供給各渠道進(jìn)行分發(fā)。

運(yùn)鏡技術(shù)最大的難點(diǎn)是相機(jī)參數(shù)標(biāo)注難度過(guò)大,成本過(guò)高,無(wú)法開(kāi)展批量化標(biāo)注。相機(jī)標(biāo)注要有專業(yè)的攝影師與3D設(shè)計(jì)師一起參與,每一個(gè)機(jī)位的標(biāo)注都需要設(shè)計(jì)師與攝影師協(xié)同配合,成本非常高,如果找非專業(yè)人士標(biāo)注直接進(jìn)行標(biāo)注,效果非常不理想,為了解決無(wú)法進(jìn)行批量化標(biāo)注的問(wèn)題,我們先后迭代了兩個(gè)大的版本,我們稱之為基于攝影構(gòu)圖的運(yùn)鏡技術(shù)基于現(xiàn)有構(gòu)圖的逆向運(yùn)鏡技術(shù),下面分別介紹這兩種運(yùn)鏡技術(shù)。

  • 基于攝影構(gòu)圖的運(yùn)鏡技術(shù)

顧名思義就是將攝影構(gòu)圖的技術(shù)參數(shù)化,并將其應(yīng)用于3D場(chǎng)景的拍攝中,比如最常見(jiàn)的構(gòu)圖技巧為“井”字構(gòu)圖法,如下所示:

將待拍攝的畫(huà)面通過(guò)兩條橫線和兩條豎線分隔成九個(gè)象限,產(chǎn)出四個(gè)焦點(diǎn),這四個(gè)焦點(diǎn)稱之為黃金分割點(diǎn),只要把待展示的物體放到這4個(gè)焦點(diǎn)的上,就能產(chǎn)出一幅比較不錯(cuò)的圖片,還是以沙發(fā)為例,通過(guò)運(yùn)用“井”字構(gòu)圖法,分別將焦點(diǎn)置于(2,1)和(1,2)處,就能拍攝出不錯(cuò)的圖片,如下圖所示:

另外一種常用的構(gòu)圖技巧“井”字構(gòu)圖法的另外一種構(gòu)圖方法,簡(jiǎn)稱“三分”構(gòu)圖法,將待拍攝的畫(huà)面通過(guò)兩條橫線分隔成三個(gè)象限,并把在3D場(chǎng)景中待拍攝的物體放置在下面一條線上,也能拍出比較好的圖片:

基于攝影構(gòu)圖技術(shù)算法已經(jīng)能夠拍攝出與普通攝影師相媲美的圖片或者短視頻,它的缺點(diǎn)在于攝影構(gòu)圖千變?nèi)f化,通過(guò)調(diào)整相機(jī)高度、相機(jī)相對(duì)物體的距離,俯仰角、FOV等參數(shù)同樣的構(gòu)圖技巧能拍攝出非常不一樣效果,而且不同品類的商品雖然構(gòu)圖理論是同一套,但最終呈現(xiàn)的效果也可以完全不一樣。因此,需要根據(jù)不同的類目需要去調(diào)節(jié)不同的參數(shù),工作量巨大,該方法適用于項(xiàng)目冷啟動(dòng)階段且急需產(chǎn)出素材的時(shí)候,無(wú)法大規(guī)模推廣。

  • 基于現(xiàn)有構(gòu)圖的逆向運(yùn)鏡技術(shù)

逆向指的是逆向商家的運(yùn)鏡,商家經(jīng)過(guò)多年的摸索,已經(jīng)把最優(yōu)質(zhì)的拍攝方法都沉淀在了商品主圖中,因此,最直接的方式就是從商品主圖中逆向攝影師拍攝時(shí)的相機(jī)參數(shù)。但直接從商品主圖中還原攝影師拍攝時(shí)候的相機(jī)參數(shù)難度巨大,兩者之間缺少直接的聯(lián)系。

由于物體在3D空間中的坐標(biāo)是已知的,如果我們能預(yù)估出物體在圖像中的3D bounding box從而得到其8個(gè)頂點(diǎn)的坐標(biāo),那么就可以將其轉(zhuǎn)換成圖形學(xué)中的Perspective-n-Point(pnp)問(wèn)題,該問(wèn)題可以通過(guò)Direct Linear Transformation (DLT)方法進(jìn)行求解,得到相機(jī)參數(shù),并將其遷移到3D場(chǎng)景中,就能實(shí)現(xiàn)機(jī)位生成。

我們通過(guò)UniPose對(duì)商品主圖進(jìn)行預(yù)測(cè)得到物體的3D bounding box以及對(duì)應(yīng)的8個(gè)頂點(diǎn)坐標(biāo),為了提高模型效果,同時(shí)加入了物體姿態(tài)估計(jì)、熱圖估計(jì)。訓(xùn)練數(shù)據(jù)則是來(lái)自于隨機(jī)角度渲染出的2D圖以及部分人工標(biāo)注數(shù)據(jù),模型框架如下所示:

有了主物體在2D空間下的8個(gè)頂點(diǎn)的坐標(biāo),以及在3D空間下的對(duì)應(yīng)的坐標(biāo),通過(guò)DLT算法就能求解出對(duì)應(yīng)的相機(jī)參數(shù):

其中x是物體2D圖像坐標(biāo),X是3D世界坐標(biāo),K是相機(jī)內(nèi)參矩陣,R是相機(jī)外參矩陣,Xo為相機(jī)位置坐標(biāo)。

遷移到3D場(chǎng)景中時(shí),由于3D場(chǎng)景內(nèi)物體在尺寸上與商品主圖不一定完全一致,為了保證主物體在畫(huà)面中的占比,需要進(jìn)行機(jī)位微調(diào),如下圖所示是微調(diào)的過(guò)程,微調(diào)的目標(biāo)就是主物體在畫(huà)面中的占比

有了逆向運(yùn)鏡技術(shù),不僅可以直接獲取商家的運(yùn)鏡方法,也極大降低了標(biāo)注成本不再需要專業(yè)的攝影師和3D設(shè)計(jì)師協(xié)同進(jìn)行標(biāo)注,同時(shí)也為運(yùn)鏡技術(shù)進(jìn)行規(guī)模化推廣到所有品類奠定了技術(shù)基礎(chǔ)。

算法基于3D場(chǎng)景生成技術(shù)+智能運(yùn)鏡技術(shù)制作的效果圖如下所示,同樣是針對(duì)沙發(fā)場(chǎng)景,我們可以生成幾十種運(yùn)鏡效果:

?場(chǎng)景素材價(jià)值預(yù)估技術(shù)

有了3D場(chǎng)景生成技術(shù)和運(yùn)鏡技術(shù)后機(jī)器已經(jīng)可以批量化、規(guī)模化、低成本的進(jìn)行場(chǎng)景制造,據(jù)我們統(tǒng)計(jì)目前沙發(fā)類目下單品展示的3D場(chǎng)景平均一個(gè)模型已經(jīng)可以構(gòu)建出超過(guò)500個(gè)場(chǎng)景,再加上運(yùn)鏡技術(shù)每個(gè)場(chǎng)景至少能生產(chǎn)5張優(yōu)質(zhì)圖,也就意味著針對(duì)一個(gè)3D模型,我們可以生產(chǎn)出1500張優(yōu)質(zhì)圖,這么多優(yōu)質(zhì)素材如何投放能夠效率最大化,這一問(wèn)題隨著場(chǎng)景制造能力逐步提升所面臨的挑戰(zhàn)也在逐漸增大。此處我們的解法是進(jìn)行素材價(jià)值優(yōu)選,優(yōu)選最有效的素材進(jìn)行投放,比如搜索場(chǎng)景我們以CTR為目標(biāo)優(yōu)選出CTR最高的素材進(jìn)行投放。

我們以目前跟搜索合作在搜索側(cè)透出機(jī)器產(chǎn)出的3D場(chǎng)景素材為例,簡(jiǎn)單闡述一下場(chǎng)景素材價(jià)值預(yù)估與傳統(tǒng)CTR預(yù)估的區(qū)別:

  1. 只負(fù)責(zé)供給素材,不干預(yù)排序:在這種情況下,一個(gè)素材CTR高,并不一定能代表我們生成的素材好,需要考慮該素材透出的坑位,以及商品本身的CTR;
  2. 傳統(tǒng)CTR預(yù)估針對(duì)item維度對(duì)全局item進(jìn)行預(yù)估,而我們是素材維度對(duì)同一個(gè)item機(jī)器產(chǎn)出的不同素材進(jìn)行預(yù)估;
  3. 由于我們只做離線的素材供給,因此僅有圖像本身的特征以及投放后的統(tǒng)計(jì)類特征;
  4. 給不同商家供給的素材、給同一個(gè)商家不同商品供給的素材,所用的3D場(chǎng)景需要有足夠的多樣性,否則在搜素展現(xiàn)時(shí),同質(zhì)化會(huì)非常嚴(yán)重;

在沒(méi)有大流量訓(xùn)練的前提下,僅僅從圖像層面進(jìn)行粗粒度特征提取,模型效果遠(yuǎn)不如湯普森采樣。為此,我們對(duì)圖片的信息進(jìn)行了細(xì)粒度的解構(gòu)做了大量的特征工程,同時(shí)基于逆向運(yùn)鏡技術(shù)從圖片中解構(gòu)出了相機(jī)參數(shù)作為2D圖片獨(dú)有的3D特征,從而將商家拍攝的圖片與3D場(chǎng)景下生成的圖片在特征維度進(jìn)行了統(tǒng)一,如下為我們抽取的部分特征:

通過(guò)投放以及對(duì)日志數(shù)據(jù)的分析,我們發(fā)現(xiàn)了一些有趣的現(xiàn)象,如下圖所示:

我們通過(guò)大量的投放實(shí)驗(yàn)發(fā)現(xiàn)合理的前背景搭配以及合理的機(jī)位選擇能對(duì)商品CTR帶來(lái)顯著的影響。住宅家具類目的實(shí)驗(yàn)表明,更合理的前背景搭配以及有效的運(yùn)鏡CTR差異能夠超過(guò)15%。

另外,基于當(dāng)前的工作,我們也在探索設(shè)計(jì)的白盒化,即可以從前背景搭配、運(yùn)鏡、主物體占比畫(huà)面面積等維度出發(fā)對(duì)一張圖的點(diǎn)擊率進(jìn)行分析,或者給到商家一些指導(dǎo),幫助商家進(jìn)一步優(yōu)化主圖的點(diǎn)擊率,進(jìn)而提升運(yùn)營(yíng)效率。

?模型生成技術(shù)

在進(jìn)行游戲創(chuàng)作時(shí)最缺的是美術(shù)資產(chǎn),比如要搭建一個(gè)中世界風(fēng)的游戲,前期需要?jiǎng)?chuàng)作大量的美術(shù)資產(chǎn),如下圖所示,如今游戲產(chǎn)業(yè)針對(duì)美術(shù)資產(chǎn)的創(chuàng)作已經(jīng)形成了一個(gè)比較完善的工業(yè)化解決方案。

電商行業(yè)也類似,為了對(duì)萬(wàn)物進(jìn)行場(chǎng)景構(gòu)建,我們同樣需要豐富多樣的3D美術(shù)資產(chǎn)。而與游戲廠商可以針對(duì)每款游戲進(jìn)行重金投入花費(fèi)巨額成本進(jìn)行資產(chǎn)創(chuàng)作不同,我們不可能要求所有商家都進(jìn)行重資產(chǎn)投入,特別是中小商家或者C端用戶。面對(duì)電商特有的多樣、高頻的營(yíng)銷場(chǎng)景以及海量不同的商品特質(zhì),都要求我們必須要有低成本、高質(zhì)量的美術(shù)資產(chǎn)創(chuàng)作方案來(lái)適配海量場(chǎng)景構(gòu)建需求。

目前我們的解法是通過(guò)AIGC技術(shù)進(jìn)行紋理創(chuàng)作,下圖所示是基于AI進(jìn)行模型生成效果:

應(yīng)用介紹

通過(guò)上面的介紹可知,將AI構(gòu)建的3D場(chǎng)景通過(guò)運(yùn)鏡技術(shù)內(nèi)容化后,分別可以輸出圖片、視頻、3D空間等相關(guān)內(nèi)容,結(jié)合淘寶APP、手機(jī)天貓APP相關(guān)場(chǎng)景,我們分別做了一些實(shí)踐。

?3D場(chǎng)景圖片化

圖片是目前淘寶APP各渠道分發(fā)最多的素材,不管是商品詳情頁(yè)、搜索、首猜還是其他導(dǎo)購(gòu)場(chǎng)都需要用到圖片進(jìn)行分發(fā)。因此圖片也是商家花重金建設(shè)的最核心資產(chǎn),甚至有些商家戲稱自己是一家圖片制作公司。據(jù)我們跟一些頭部家裝大商家的調(diào)研,如果是實(shí)拍圖,一套主圖的成本就在2000~5000元不等。

如今,3D場(chǎng)景的自動(dòng)生成能力結(jié)合運(yùn)鏡技術(shù),AI已經(jīng)具備了批量化造圖的能力,我們將AI制作的圖片搜索以及首頁(yè)猜你喜歡,在公域非付費(fèi)流量替換商品主圖進(jìn)行透出,我們希望借助AI的能力讓商家能夠得到額外的收益。目前淘寶搜索、SKU搜索引擎、搜索篩選項(xiàng)、首頁(yè)猜你喜歡的部分類目已經(jīng)接入我們的能力日均曝光千萬(wàn)級(jí),CTR有明顯提升并且獲得了頭部大商家的認(rèn)可。AI的持續(xù)造圖能力,不僅能夠給商家?guī)?lái)優(yōu)質(zhì)的圖片素材,同時(shí)也可以防止用戶的瀏覽疲勞,始終能夠給消費(fèi)者提供更新更好的素材供其消費(fèi)。

通過(guò)這個(gè)項(xiàng)目,我們跟家裝頭部大商家建立了很好的合作,包括林氏木業(yè)、全友家居、芝華士、顧家、喜臨門(mén)、慕思等等幫助他們持續(xù)提升在公域透出的效率,目前已經(jīng)有3000+店鋪授權(quán)我們使用公域自然流量。

可以想象未來(lái)商家基于AI能力進(jìn)行素材創(chuàng)作并進(jìn)行分發(fā)的巨大空間,其制作效率與傳統(tǒng)實(shí)景拍攝相比,將會(huì)有一個(gè)多么大的提升,特別是后疫情時(shí)代,AI為商家提供了另一種可替代的造圖能力,甚至可以想象,未來(lái)商家只要有一個(gè)3D模型,AI就能完成商家所需素材的創(chuàng)作需求。

總結(jié)與展望

作為下一代互聯(lián)網(wǎng)雖然元宇宙仍處在非常早期的階段,我們也在持續(xù)探索元宇宙電商場(chǎng)景的表現(xiàn)形式,不過(guò)我們始終堅(jiān)信低成本、高質(zhì)量、低門(mén)檻、大規(guī)模的3D場(chǎng)景構(gòu)建技術(shù)必然是未來(lái)構(gòu)建元宇宙的基礎(chǔ)設(shè)施。通過(guò)改變3D場(chǎng)景制作流程復(fù)雜、成本高、門(mén)檻高、流動(dòng)性差的現(xiàn)狀,讓商家像玩轉(zhuǎn)2D一樣去玩轉(zhuǎn)3D,讓普通消費(fèi)者也能參與到3D內(nèi)容創(chuàng)作和消費(fèi)中,真正實(shí)現(xiàn)內(nèi)容生產(chǎn)模式從PGC/UGC過(guò)渡到AIGC是我們3D場(chǎng)景智能創(chuàng)作引擎一直追求的目標(biāo)。

仰望星空的同時(shí)也要腳踏實(shí)地,未來(lái)很長(zhǎng)一段時(shí)間手機(jī)仍然電商最重要的媒介,因此圖片和視頻仍然是商家重資產(chǎn)投入的環(huán)節(jié)以及消費(fèi)者消費(fèi)規(guī)模最大的內(nèi)容,希望我們的3D場(chǎng)景智能創(chuàng)作引擎在目前的2D分發(fā)時(shí)代能夠給更多的商家以及業(yè)務(wù)在素材上降本增效,豐富消費(fèi)者個(gè)性多元的消費(fèi)需求。

作者:Meta技術(shù)團(tuán)隊(duì)

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開(kāi)APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
極??萍迹篈IGC將開(kāi)啟全新電商商品內(nèi)容生產(chǎn)方式
?新壹科技連續(xù)四大重磅發(fā)布 實(shí)現(xiàn)AIGC業(yè)務(wù)落地全鏈路打通
AI生成內(nèi)容產(chǎn)業(yè)展望報(bào)告(附下載)
垂類大模型技術(shù)落地,ZMO.AI推動(dòng)營(yíng)銷內(nèi)容生產(chǎn)力變革
AIGC入侵618,虛擬主播能成直播帶貨新解法嗎?
AIGC產(chǎn)業(yè)鏈全梳理
更多類似文章 >>
生活服務(wù)
熱點(diǎn)新聞
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服