從前年開始，很多品牌主紛紛啟用虛擬人作為品牌代言人。請明星不但要承擔過高的預算，還有隨時可能“塌房”的風險，真人各種不可控的因素讓品牌們苦不堪言，于是他們只好轉(zhuǎn)投可以由自己百分百掌控的“數(shù)字人”。

而虛擬人爆火的同時，數(shù)字人的另一種形態(tài)——數(shù)字分身也在蔚然成風。這兩者的區(qū)別簡單來說就是“虛擬人”是完全虛構(gòu)的，直接由計算機生成的，而“數(shù)字分身”則是一個真實人物的數(shù)字孿生體。

生成式AI技術(shù)作為一種利用深度學習模型從數(shù)據(jù)中學習并生成新的內(nèi)容的技術(shù)，可以根據(jù)文本、圖像、音頻等輸入，生成各種類型的輸出，如3D模型、視頻、動畫、音樂、詩歌等。生成式AI技術(shù)的進步將為數(shù)字人提供了強大的支撐，使其能夠適應不同的場景和需求，展現(xiàn)出無限的可能性。這也意味著人們在線交流的形式將徹底發(fā)生改變。數(shù)字人栩栩如生的外觀，生動的表情，再加上AI技術(shù)加持下具備“最強大腦”，會為我們營造出逼真的互動性。

△元分身數(shù)字人直播產(chǎn)品

主流數(shù)字人的技術(shù)原理和應用

目前國內(nèi)的數(shù)字人技術(shù)廠商底層技術(shù)主要以NLP（Natural Language Processing自然語言處理）技術(shù)、多模態(tài)融合交互（不同形式的輸入組合（例如，語音、手勢、觸摸、凝視等）被稱為多模態(tài)交互模式，其目標是向用戶提供與計算機進行交互的多種選擇方式，以支持自然的用戶選擇。）和大模型（大模型又可以稱為Foundation Model（基石）模型，模型通過億級的語料或者圖像進行知識抽取，學習進而生產(chǎn)了億級參數(shù)的大模型。）、XR技術(shù)（Extended Reality擴展現(xiàn)實，是指通過計算機將真實與虛擬相結(jié)合，打造一個可人機交互的虛擬環(huán)境，這也是AR、VR、MR等多種技術(shù)的統(tǒng)稱。）這三種技術(shù)為底層技術(shù)依托打造數(shù)字人。

其中NLP技術(shù)以創(chuàng)始團隊為浙江大學計算機學院人工智能研究所出身的一知智能、上市公司天娛數(shù)科戰(zhàn)略投資的專門做元宇宙虛擬人相關(guān)業(yè)務的科技營銷公司元境科技兩家為典型代表。

一知智能

一知智能CTO李一夫在采訪中表示，一知智能創(chuàng)始團隊一開始就是研究NLP技術(shù)的，目前一知智能的智能客服等產(chǎn)品就是結(jié)合一知智能的NLP能力研發(fā)的。在持續(xù)探索商業(yè)化的過程中，一知智能研發(fā)團隊也在積極關(guān)注和思考前沿技術(shù)的發(fā)展。

一知智能CTO李一夫向非凡產(chǎn)研記者介紹，與同行業(yè)產(chǎn)品對比中，尤其是在真人驅(qū)動以及口唇同步效果方面，一知智能的數(shù)字人在行業(yè)中應該是處于遙遙領先的狀態(tài)。尤其在技術(shù)優(yōu)勢方面，由于一知智能過去幾年積累了大量的語料，迭代出領先的消費行業(yè)語音與語義相關(guān)的模型，結(jié)合自身在多模塊交互方面的研究沉淀，未來一知智能將會在數(shù)字人的基礎上疊加交互的部分，從而擴大技術(shù)方面的競爭優(yōu)勢。

另一方面，一知智能過去在消費領域積累的客戶、業(yè)務優(yōu)勢，將會使一知智能的數(shù)字人在幫助客戶找PMF的應用中取得更大的競爭力。

元境科技

△元享智能云平臺界面

元境科技的產(chǎn)品體系為1+X，其中“1”指元境科技自主研發(fā)的產(chǎn)品平臺“元享”，通過這個平臺元境科技將持續(xù)架設很多產(chǎn)品，聚焦垂直賽道和細分領域，同時提供專業(yè)產(chǎn)品服務和集成服務，簡化和降低技術(shù)的應用門檻。元境科技目前的市場定位、探索主要聚焦在如何把一些最新自主訓練技術(shù)、自主研發(fā)技術(shù)整合投放個一些垂直行業(yè)的應用場景。相比通用型產(chǎn)品，元境科技未來聚焦的方向?qū)⒁源怪睉脠鼍盀橹鳌?/span>

倒映有聲

倒映有聲成立四年多以來，則一直聚焦在多模態(tài)的驅(qū)動和生成技術(shù)。創(chuàng)始人兼CEO肖朔介紹說，倒映有聲把文本、聲音和圖像，以及數(shù)字人相關(guān)的動作驅(qū)動幾個環(huán)節(jié)整合到一起，形成“多模態(tài)的神經(jīng)渲染引擎”。目前，倒映有聲主要服務B端客戶場景，提供AI數(shù)字人技術(shù)解決方案、可視化的操作界面、以及直接調(diào)取API技術(shù)接口，幫助客戶去做數(shù)字人音頻和視頻內(nèi)容生產(chǎn)，最終實現(xiàn)解放真人勞動力、降本增效的目的。

在倒映有聲創(chuàng)始人兼CEO肖朔看來，目前的技術(shù)流派可以分為兩種：第一種是基于傳統(tǒng)的3D建模方式，用海外比較成熟的UE或unity的引擎來進行渲染，這套方案在游戲或者影視當中應用較多，現(xiàn)在也有很多優(yōu)秀的技術(shù)公司把它應用在了數(shù)字人或元宇宙場景，也同樣取得了不錯的應用效果。而倒映有聲采用的是另外一套技術(shù)方案，不需要做傳統(tǒng)的3D建模，能夠節(jié)約大量的人力成本和時間成本，以及不需要再借用海外壟斷性質(zhì)的渲染引擎，因此倒映有聲可以實現(xiàn)用更低的成本和更標準化的模式，在云端快速地完成與數(shù)字人相關(guān)的多模態(tài)內(nèi)容生產(chǎn)。

拓元智慧

基團隊的多模態(tài)AIGC與互動技術(shù)，元分身平臺可以打造媲美真人的AI數(shù)智人，應用于視頻合成、直播、互動等場景，為客戶提供數(shù)智人定制、視頻制作服務平臺、直播服務平臺、個性化交互等服務。其中，視頻創(chuàng)作及合成應用適合教育、醫(yī)學、科技、金融、企事業(yè)等泛內(nèi)容傳播，直播應用適用于本地生活商家、品牌店鋪、私域24小時直播門店等場景，而交互數(shù)字人則適用于售前售后客服和專家型咨詢陪伴等場景。

創(chuàng)想數(shù)維

創(chuàng)想數(shù)維的核心技術(shù)特點包括：首先，具備優(yōu)秀的自出研發(fā)和生產(chǎn)硬件設備的能力，且成本相對較低；其次，擁有一個核心的、平臺級別的軟件，包括渲染服務器和軟件，這也是創(chuàng)想數(shù)維技術(shù)的一個核心組成部分。除此之外，創(chuàng)想數(shù)維正在開發(fā)利用AIGC技術(shù)快速生成3D場景和動畫等算法和工具。

宙予科技是生成式AI驅(qū)動的空間化電商全案服務商。去年宙予科技開發(fā)了618京東元宇宙電商項目。作為全球首個元宇宙電商項目，在轉(zhuǎn)化率等核心指標，達到傳統(tǒng)電商十倍之多，實現(xiàn)了3D互聯(lián)網(wǎng)場景營銷轉(zhuǎn)化效果的重大突破。目前宙予科技正在進行5000萬人民幣或等值美元的A輪融資。創(chuàng)始人朱峰是北京大學本碩，從物理轉(zhuǎn)修電影導演/文化產(chǎn)業(yè)。宙予合伙人團隊由四位相識20年的發(fā)小組成，是北京四中、北京大學的高中/大學/碩博士同年級同學，包括兩位電商老兵和兩位元宇宙渲染引擎專家，是空間化元宇宙電商創(chuàng)業(yè)的最優(yōu)搭配。

△宙予科技AI虛擬主播

“AIGC”全稱為“Artificial Inteligence Generated Content 人工智能生成內(nèi)容”，中國信通院發(fā)布的《人工智能生成內(nèi)容（AIGC）白皮書》認為，目前關(guān)于 AIGC 的概念并沒有統(tǒng)一界定，國內(nèi)產(chǎn)學研界的理解是“繼專業(yè)生成內(nèi)容(Professional Generated Content，PGC)和用戶生成內(nèi)容(User Generated Content UGC)之后，利用人工智能技術(shù)自動生成內(nèi)容的新型生產(chǎn)方式”。維基百科給出的解釋則是“人工智能合成媒體(AI-generated Media 或 Synthetic Media)”，指“通過人工智能算法對數(shù)據(jù)或媒體進行生產(chǎn)、操控和修改的統(tǒng)稱”。

目前數(shù)字人主要有三大應用場景。

第一個是圍繞類流媒體的播報場景。這類場景的人員播講內(nèi)容和模式通常都比較固定，不需要太復雜的情感演繹，因此這類重復的勞動力很容易用AIGC的方式來代替。倒映有聲創(chuàng)始人兼CEO肖朔介紹，他們已經(jīng)在融媒體新聞播報、教育培訓、醫(yī)療科普、金融、泛娛樂等場景成功應用數(shù)字人。

△倒映有聲數(shù)字人分身內(nèi)容創(chuàng)作平臺

依托倒映有聲的融媒體AI數(shù)字人技術(shù)解決方案，只需10分鐘有效音畫數(shù)據(jù)采集，就可以打造1個主播的AI數(shù)字分身。在倒映有聲旗下的數(shù)字分身內(nèi)容創(chuàng)作平臺上，只需要輸入文字，就可以一鍵生成音頻和視頻。AI主播/AI數(shù)字人可以24小時不間斷進行內(nèi)容生產(chǎn)和播報。這也數(shù)字人的一個極具代表性的應用場景。

拓元智慧的數(shù)字人除了可以還原主播真人的外形、表情、動作和聲音，還支持多語種功能。無論在視覺效果或是語音語調(diào)上，拓元智慧數(shù)字人已具有超過95%的擬真度，整體表現(xiàn)與真人無異甚至超越真人主播。真正實現(xiàn)一個運營頂一個團隊，孵化并管理多個IP，極大地降低制作成本，10倍以上提高效率。

第三種是短視頻、直播帶貨這樣的娛樂場景。數(shù)字人能為小B或者大C類用戶提供低成本的代替他們的人工在長尾的時間段去進行內(nèi)容的持續(xù)化輸出。拓元智慧數(shù)字人直播產(chǎn)品，可以隨時代替真人主播出鏡，通過AI自動編排話術(shù)模塊，搭載智能對話問答系統(tǒng)，實現(xiàn)7*24小時直播，輕松獲得閑時流量收益。

另一點就是虛擬人數(shù)字人可以24小時不間斷直播、和個性化定制，能夠聚焦更多人群，同時可以通過技術(shù)手段進行批量生產(chǎn)，橫向和縱向擴展性很強，現(xiàn)在很多企業(yè)和團隊就在應用我們的元享平臺的智播模塊進行直播，效果很不錯，并且虛擬人數(shù)字人的直播模式是批量可復制的，因此一旦能成功，便會給企業(yè)降本增效帶來很明顯的變化。而且這個賽道的核心競爭優(yōu)勢不是技術(shù)，而是對業(yè)務和場景的編排能力。

創(chuàng)想數(shù)維也計劃推出一些針對C端用戶的產(chǎn)品和解決方案。例如快速從2D草圖生成3D場景，全面實現(xiàn)剪輯、調(diào)色和燈光等方面的 AI 自動化，從而完全擺脫中之人或人為操作。

生成式AI技術(shù)讓數(shù)字人“活”起來

數(shù)字人雖然已經(jīng)誕生了很長時間，但其長期以來被吐槽最多的就是大部分數(shù)字人都過于呆板，除了表情和姿勢過于僵硬之外，還完全沒法與用戶個性化，甚至實時互動。一項數(shù)據(jù)表明，人和人之間55%的交流靠肢體語言，38%靠語調(diào)，只有7%是靠語言。因此數(shù)字人的互動能力對提升用戶體驗非常重要。而隨著生成式AI（Generative AI）技術(shù)的爆發(fā)，將會很好的賦能數(shù)字人，極大提升數(shù)字人的生動力。

1、生成式AI技術(shù)是提升數(shù)字人交互能力的拐點

一知智能CTO李一夫認為生成式AI技術(shù)是提示數(shù)字人交互能力的一個重要技術(shù)拐點。但目前面臨的主要問題在于生成式AI通過大模型形成答案的速度還比較慢，而交互場景對于實時性的速度要求又非常高，所以當前生成式AI還不能直接運用到數(shù)字人的交互上，這個也是未來需要大模型去解決的問題之一。目前一知智能在產(chǎn)品上也在研究如何提高接入大模型以及生成式AI的能力，大模型如果能在響應速度上得到飛躍的提升，那數(shù)字人的發(fā)展將會迎來很大進步。

2、生成式AI技術(shù)如何賦能數(shù)字人

拓元智慧聯(lián)合創(chuàng)始人黃偉鵬介紹，目前元分身平臺的數(shù)字人已經(jīng)可以通過AIGC技術(shù)在短視頻、直播和一對一服務等場景中直接生成，并且可以與用戶進行智能互動。例如，在直播中，可以解析用戶的彈幕內(nèi)容并直接回答他們的問題。在短視頻創(chuàng)作中，設有AI文案功能，幫助運營者生成文案或改寫文案，極大減輕視頻工作者的創(chuàng)作壓力。

同時，在互動客服、業(yè)務引導等方面，元分身也可以實現(xiàn)實時的一對一驅(qū)動，將ASR轉(zhuǎn)化為NLP，進而生成答案并合成語音，在前端輸出時還可以進行面部表情、手勢等交互操作。通過這些技術(shù)優(yōu)化，可以明顯提示數(shù)字人的交互能力。

創(chuàng)想數(shù)維CEO吳未表示數(shù)字人制作流程一般包括設計、建模制作、驅(qū)動和運營環(huán)節(jié)。在這個流程中，就可以應用大量的人工智能算法和模型，來加快速度。同時，生成式AI也能使數(shù)字人的響應更加智能化，更符合人類特性。舉例來說，以前數(shù)字人驅(qū)動一般需要構(gòu)建知識圖譜，然后將其制作成語音庫和動作庫，只能回答知識圖譜范圍內(nèi)的問題。但有了大語言模型，只需要組合其他組件，如文字轉(zhuǎn)語音、語音轉(zhuǎn)動作、表情庫和動作庫，就能生成一個可以響應任何問題的智能化AI驅(qū)動程序。因此，我們可以像搭樂高積木一樣，將各種人工智能組件拼接起來，以更低的成本獲得更好的數(shù)字人驅(qū)動效果。

宙予科技創(chuàng)始人朱峰表示數(shù)字人的交互一般指的是視覺、聽覺和觸覺三方面。這三個方面目前都有不同的公司在做。而觸覺的提升還屬于超早期的階段，現(xiàn)階段暫時還沒有已經(jīng)能夠落地的方案出來。在視、聽覺這兩塊，已經(jīng)有很大進展。尤其在聽覺方面，小冰、科大訊飛，阿里等企業(yè)都在努力克服TTS（Text To Speech）生成的語言的連貫性和情緒問題。

目前數(shù)字人已經(jīng)都能很流暢平靜的表達，但在聲音的抑揚頓挫，音量變化方面仍然有很大提升空間。尤其是人類的情緒變化很多變，語言常常很難準確表達，如何精確培訓數(shù)字人具備這一敏感度，將會有很大挑戰(zhàn)。

再說圖像領域，目前一個趨勢是傳統(tǒng)計算機圖形學的動搖甚至消亡。原來的計算機圖形圖像學指的是mesh和texture的體系，就是每一個電腦動畫要先建出來模型，模型上面有蒙皮，然后兩個東西加在一起才有了傳統(tǒng)的模型。后來有了神經(jīng)網(wǎng)絡輻射場（Nerf），然后通過Nerf去做三維空間，從點、云和三角片狀的一些非常零散的呈現(xiàn)面，去表現(xiàn)一個非常真實的立體空間的折射反射現(xiàn)象。它雖然和以往的三維模型加材質(zhì)工作流不完全兼容，但在UE里面已經(jīng)實現(xiàn)將Nerf模型直接放入傳統(tǒng)工作流形成的環(huán)境中直接渲染的案例了，不做動畫的話，效果甚至不錯。

所以最近的一個技術(shù)熱點就是把Nerf本身的呈現(xiàn)方式還原成點云，然后再進一步地還原成傳統(tǒng)的mesh和texture去和它兼容，試著做動畫的打通。這還是對于以往的流程的一種改良。但是目前通過prompt就能實現(xiàn)文生圖的技術(shù)，對于傳統(tǒng)流程非常大的顛覆性，意味著幾毫秒就能實時生成一堆圖。在現(xiàn)在 AGI技術(shù)大流行的前提之下，將來整個傳統(tǒng)三維的實時渲染工作流將可能全部被革新，這是未來的虛擬人可以走的三條路。

2、生成式AI將帶來數(shù)字人的交互場景創(chuàng)新

一旦數(shù)字人的交互能力有很大進步之后，將會為下面幾個場景的用戶體驗帶來很大的提升。

倒映有聲創(chuàng)始人兼CEO肖朔認為，數(shù)字人交互能力落地后首先帶來改變的就是，可以解決游戲場景中NPC角色配音問題，以及讓NPC擁有更豐富的互動能力，產(chǎn)生不一樣的文本響應，尤其對于一些養(yǎng)成類游戲的用戶體驗的提高將會帶來很大幫助。

第二類是對短視頻領域的AI直播帶貨場景將會有很大優(yōu)化。現(xiàn)在的AI數(shù)字人直播技術(shù)依然有很明顯的缺陷，比如說虛擬主播手上不能拿商品，而且沒有真人主播那么及時的響應速度，所以目前虛擬主播還很難替代真人。但如果虛擬主播的交互能力得到很大提升之后，再加上虛擬主播可以24小時在線，這將會為直播帶貨行業(yè)帶來革命性變化。

第三種是對一些功能性場景的體驗和能力優(yōu)化。比如AI老師，AI券商分析師早期可能只能單純地做內(nèi)容輸出，后面交互技術(shù)提升了就能接入比如實時問答系統(tǒng)，可以及時回答用戶的專業(yè)問題。后面他會接上一些。我們其實是叫做問答系統(tǒng)。

但目前整個的渲染技術(shù)，包括虛擬人的形象等還需要再去提升，因為客戶端的體驗非常重要。在做交互之前，第一步要先要把畫面呈現(xiàn)達到一定水平，再結(jié)合交互，這樣才能夠真正產(chǎn)生商業(yè)化的價值。尤其大品牌會要求虛擬人跟自己的品牌形象和品牌調(diào)性高度契合，所以對此要求會比較高。

國內(nèi)數(shù)字人和生成式AI技術(shù)的發(fā)展現(xiàn)狀和機遇

國內(nèi)外在數(shù)字人和生成式AI技術(shù)領域內(nèi)的差異顯而易見，只有正視自身短處，才能找到前進動力和方向。采訪嘉賓們也分別為我們介紹了目前國內(nèi)在技術(shù)、商業(yè)化方面的短板在哪里。

1、數(shù)字人要克服的挑戰(zhàn)和難點

倒映有聲創(chuàng)始人兼CEO肖朔認為，數(shù)字人的技術(shù)離天花板尚有很遠的距離，雖然大家要面臨很多挑戰(zhàn)，但也意味著大量的創(chuàng)業(yè)公司依然有很多機會窗口。他說，以3D數(shù)字人和2D數(shù)字人兩種技術(shù)解決方案為例， 3D數(shù)字人的技術(shù)能夠做到很高端精細的效果，但是財務成本、時間成本、人力成本都很高，那么，破局之道就是解決成本問題。而對于同倒映有聲一樣深耕 2D 數(shù)字人技術(shù)解決方案的公司來說，核心競爭力則是要在人物動作的復雜度上不斷加強，更擬真、更細化、更交互、更有情感，以及模態(tài)的更深融合，都是需要進一步投入研發(fā)的。

創(chuàng)想數(shù)維CEO吳未認為國內(nèi)數(shù)字人技術(shù)面臨以下幾大挑戰(zhàn)。首先，國內(nèi)企業(yè)需要跟上研發(fā)的節(jié)奏，因為現(xiàn)在很多核心組件都需要在國外廠商那里投入資源去研發(fā)。國內(nèi)的替代速度相對較慢，所以行業(yè)需要更好、更便宜的組成部件來降低整體解決方案的成本，同時周邊生態(tài)也要能跟上。

2、國內(nèi)生成式AI技術(shù)的挑戰(zhàn)和難點

1）商業(yè)模式層面

一知智能CTO李一夫認為，國內(nèi)的生成式AI在技術(shù)方面很多還是依賴GPT、diffusion等API或開源框架。在商業(yè)化方面，整個生成式AI中，大模型可分為“底層”跟“應用層”兩層，其中“底層”又包含大模型的“模型層”等，而目前底層模型仍存在非常大的難點需要去攻克，因此關(guān)于商業(yè)化的討論我們更多的都是針對應用層的公司。

拓元智慧聯(lián)創(chuàng)兼元分身平臺總經(jīng)理黃偉鵬表示，這兩年處于AI技術(shù)發(fā)展的拐點，去年11月到現(xiàn)在，全球已經(jīng)公布總計超過20個大模型產(chǎn)品，讓科技圈都看到了希望，除了前期需要大量的創(chuàng)新實踐，去探索前沿技術(shù)的商業(yè)可行性，資金支持也是必不可少的。

目前國內(nèi)應用層的創(chuàng)業(yè)者公司主要有下面兩類，一種是自身有一定技術(shù)背景，然后依賴國外廠商API的公司，他們在垂直化模型研發(fā)的過程中，可能遇到的挑戰(zhàn)是大模型開放API后，固有技術(shù)壁壘的競爭優(yōu)勢會受到影響，同時也會面臨訓練成本高的問題。另外一種企業(yè)可能原來是在做SaaS工具且具備業(yè)務know-how的公司，他們會在原有的產(chǎn)品上疊加AIGC的能力，但由于缺乏自主研發(fā)的基因，因此即便預算足夠聘請算法工程師，但在對生成式AI的理解以及產(chǎn)品的落地方面往往會受限，這類廠商對商業(yè)化以及大廠提供生成式AI的依賴度較高，而部分連業(yè)務knowhow也缺乏的公司，更是面臨很高的創(chuàng)業(yè)成本。

拓元智慧聯(lián)創(chuàng)兼元分身平臺總經(jīng)理黃偉鵬表示，最大的挑戰(zhàn)是在數(shù)據(jù)量和算力上。在數(shù)據(jù)量上，優(yōu)質(zhì)的專門數(shù)據(jù)和資金支持研發(fā)，兩者缺一不可。而在算力上，像A100大算力顯卡供應，在國內(nèi)仍處于卡脖子狀態(tài)，所以國內(nèi)的AIGC技術(shù)會和海外研發(fā)造成一定的差距。

創(chuàng)想數(shù)維CEO吳未認為，首先，發(fā)展生成式AI技術(shù)的必要條件之一就是要有優(yōu)質(zhì)的數(shù)據(jù)，而不是簡單的數(shù)據(jù)。然而，國內(nèi)很缺乏優(yōu)質(zhì)的結(jié)構(gòu)化數(shù)據(jù)，這是我們面臨的首要挑戰(zhàn)之一。其次，發(fā)展AI技術(shù)需要長期投入研發(fā)資金，這可能需要5-10年的時間，而且在此之前很大概率并不賺錢。中國資本、政策以及企業(yè)家是否有足夠的定力看到這一點，并認識到其發(fā)展的必要性將是很大的考驗。

3、國內(nèi)外行業(yè)生態(tài)差距對比

生成式AI技術(shù)何時走向成熟和規(guī)?；瘧?/span>