秒變娃娃臉，技術(shù)應(yīng)用又有新突破。
而且相比P圖后“變臉”，這次是拍攝短視頻時終端實時進行“變臉”，上至萬把元的iPhone下至千元安卓機，都能體驗，甚至沒有網(wǎng)絡(luò)也OK。
你可能沒想到，這次引領(lǐng)全球技術(shù)之先的是中國公司快手。
沒錯，就是老鐵雙擊666的快手。
在其最新迭代的版本中，拍攝頁面上線了名為“變小孩”的魔法表情。
拍攝界面選擇該表情進行短視頻拍攝，就能秒變童顏，實現(xiàn)娃娃臉的樣子——一千個老鐵，有一千個娃娃臉老鐵的樣子。
比如這樣：
這樣：
以及這樣：
上手簡單，看起來也好玩，但稍懂技術(shù)原理，就知道實現(xiàn)這樣的應(yīng)用和效果，實際非常不簡單。
核心是依靠GAN——對抗生成網(wǎng)絡(luò)。
這次不僅國內(nèi)首個實現(xiàn)端上實時GAN，也是全球范圍內(nèi)第一次實現(xiàn)iOS安卓多平臺、全機型覆蓋的視頻實時GAN，甚至出于技（lao）術(shù)（ban）實（yao）力（qiu），快手AI工程師們還實現(xiàn)了“斷網(wǎng)”壯舉——沒有網(wǎng)絡(luò)狀態(tài)也能用。
這是完全終端本地化的實現(xiàn)AI能力，是包含Google在內(nèi)的AI頭雁公司才有的追求。
并且相比翻譯、語音識別，視覺和實時視頻，對于終端算力、內(nèi)存資源、模型訓(xùn)練和壓縮要求都更為嚴(yán)苛，除了要投入資源攻堅，還得頂著用戶體驗的壓力，最后在各種各樣的終端用戶場景中接受檢驗。
挑戰(zhàn)其實不小。
但可以直接帶來的效益，值得直面這份挑戰(zhàn)。魔表上線3天即到百萬使用量。
或許你也多少留意到了，“變臉”、“換臉”在全世界掀起了一股新風(fēng)尚。
除了沒有證據(jù)但可能在開車的各類deepfakes，從圖片到視頻，從變老、男變女、女變男，返老孩童，全球網(wǎng)友玩得不亦樂乎。
簡單回顧起來，最初在視頻中推出實時“娃娃臉”的是Snapchat。
在今年5月，這個海外社交應(yīng)用推出了該新功能，研發(fā)打造時長一年之久。
但效果也立竿見影，一經(jīng)發(fā)布，日活大漲10%。
其后還間接帶火了俄羅斯變臉應(yīng)用FaceApp，很多明星和普通人，開始借助應(yīng)用看到自己老去、還童的效果。
但放眼全球，能夠跟上這種技術(shù)風(fēng)潮的也不算多。
而且從Snapchat和FaceApp，也能看出技術(shù)實現(xiàn)之挑戰(zhàn)。
一方面，實時視頻幾乎不能覆蓋全機型全平臺——Snapchat就只能在iOS支持。
另一方面必須依靠云端訓(xùn)練和效果實施，對網(wǎng)絡(luò)狀況要求也很高。這帶來的小插曲是美國議員呼吁封殺FaceApp，因為上傳照片到云端，會讓俄羅斯侵害美國人隱私。
而快手選擇做端上實時“變臉”，目標(biāo)是能給所有用戶帶去更潮的短視頻玩法。但除了技術(shù)上的難要解決，留給快手Y-tech技術(shù)小分隊的時間只有一個多月的時間。
沒錯，一個多月，打完Snapchat一年的仗。
其實早在18年4月份，快手已經(jīng)在端側(cè)實現(xiàn)了“變老”的功能效果。
但從技術(shù)而言，“變老”和“娃娃臉”的難度，不可相提并論。
通俗點說，“變老”不需要改變?nèi)四樈Y(jié)構(gòu)，可以通過貼妝方式實現(xiàn)，娃娃臉的人臉結(jié)構(gòu)有很大變化，在五官細(xì)節(jié)上也和成人有很微妙的差別，而且千人千面，難以用傳統(tǒng)貼妝方法實現(xiàn)。
另外，“娃娃臉”效果，P圖和實時視頻的挑戰(zhàn)也不一樣。
視頻所追求的，是在沒有人為干預(yù)的條件下，快速生成效果逼真的娃娃臉。
進而也就有兩大挑戰(zhàn)必須解決：
一是需要機器根據(jù)每個人的臉部特征自動生成圖像，而且不能有手工P圖的痕跡。
二是要在手機端實時做到臉部圖像生成。手機端的算力以及內(nèi)存資源有限，在有限算力以及內(nèi)存資源支持條件下完成這些任務(wù)，任務(wù)艱巨。
這些挑戰(zhàn)，也是Snapchat在iOS實現(xiàn)而無法全平臺全機型覆蓋的原因——iPhone的算力和資源，算是最上層的。
但中國實際情況，以及快手的用戶而言，安卓用戶占比不低，而且安卓機型種類較多，不同機型算力和內(nèi)存資源差異較大，因此完成實時視頻變“娃娃臉”，在快手這里產(chǎn)品需求有了更明確定義：
設(shè)計一個能夠覆蓋高、中、低不同機型的解決方案。
于是，快手技術(shù)團隊采取了差異化的AI模型生成方案，針對不同機型，采用相應(yīng)解決方案。
對于算力較高的機型，可以讓AI模型做更多的工作，比如生成的圖像范圍更廣，細(xì)節(jié)更清晰。
對于算力較低的機型，可以把一部分AI模型的工作拆出來用傳統(tǒng)的方法去解決。
然而總體還有一點，不管算力高低，最后到用戶使用中，都得實現(xiàn)GAN的“秒變”，這也就意味著算力再低，也要有高質(zhì)量的AI算法實現(xiàn)——挑戰(zhàn)和能力都暗含其中了。
最后，對于快手來說還有一項潛在挑戰(zhàn)：網(wǎng)絡(luò)。
一方面是用戶體驗上的考量，實時效果對延遲要求很高，服務(wù)端計算增加的網(wǎng)絡(luò)延遲對于實時應(yīng)用來說非常顯著——用戶需要等待，體驗的效果滯后。
另一方面，如果用戶還位于偏遠(yuǎn)山區(qū)，手機信號和網(wǎng)絡(luò)不好，體驗就會變得非常糟糕。
所以從一開始，快手技術(shù)團隊對這款特效的目標(biāo)就定成了達到“手機斷網(wǎng)”也能用。
因此所有算法操作，都在手機端完成，不需要把用戶拍攝的圖像或視頻傳到后端服務(wù)器做算法處理。
用一個小小手機，完成了算力強大的服務(wù)器才能做到的事，這是快手技術(shù)團隊在“娃娃臉”功能上秀出的實力。
而且這只是實力的冰山一角，后臺深藏的是驅(qū)動快手產(chǎn)品向前的基礎(chǔ)引擎。
正所謂水滴石穿非一日之功。
快手此次能夠引領(lǐng)全球技術(shù)應(yīng)用之先，快手自研的YCNN深度學(xué)習(xí)推理引擎、定制化模型壓縮算法都是幕后功臣。
正是基于內(nèi)部自研的壓縮模型，才能在考量各種邊界條件、有限的計算以及內(nèi)存資源條件下，依然把模型的計算量降到最小，同時又不影響算法效果。
而快手端上深度學(xué)習(xí)推理引擎，為娃娃臉?biāo)惴涞靥峁┝擞辛χС帧?/p>
這個取名YCNN的深度學(xué)習(xí)推理引擎，之前介紹快手AI時也多次提到。
這是快手自研的、支持多平臺的、深度優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理引擎，是快手很多AI功能的強大加速器，支持包括不限于NEON、SSE、Metal、NPU，OpenCL，OpenGLES的優(yōu)化方法和技術(shù)。
在這次“娃娃臉”功能里，針對移動平臺尤其是低端安卓機計算能力較弱的特點，YCNN引擎在定點化推理方面的優(yōu)化，提出了低功耗高性能的解決方案。
實際上，近幾年來，在深度學(xué)習(xí)研究領(lǐng)域，GAN等模型被廣泛的應(yīng)用到解決各種問題上，但像快手這樣堅持打造核心基礎(chǔ)引擎，并最終讓產(chǎn)品功能受益，讓終端用戶受益的，并不多。
而且也由于產(chǎn)品落地和應(yīng)用的成功，技術(shù)上的難度和積累少為人知。
實際上，讓擁有不同手機機型的每一個老鐵，能夠無差別享受高算力AI技術(shù)帶來的樂趣，背后是極其強大的技術(shù)團隊的付出。
但這樣的團隊，也有委屈的時候。在最近快手首次召開的技術(shù)OpenDay上，有校招學(xué)生透露“因為家里人、朋友覺得快手Low而表達過不想讓他們選擇來快手工作”。
如果能夠全面了解一下快手，了解下快手的普惠價值觀，以及通過這家公司的努力給普通人的生活帶來的改變，相信他們的想法會改變。只有全面的了解之后，才能做出客觀的判斷。
那如果更深入了解端上GAN的進展突破呢？知曉“本地化無網(wǎng)絡(luò)”也能應(yīng)用AI模型呢？或者更進一步知道壓縮模型和推理引擎的強悍……
可能是時候給予快手以及快手的技術(shù)更多正名了。
并且在技術(shù)可能加劇資源、地區(qū)和發(fā)展不平等的今天，快手能通過終端產(chǎn)品讓每一個用戶無差別感受技術(shù)的樂趣、感知不一樣的世界，還幫助更多偏遠(yuǎn)地區(qū)加速商業(yè)化提升收入，善莫大焉。
把技術(shù)推向更前沿值得感嘆，用前沿技術(shù)打造接地氣的、普惠的產(chǎn)品，值得贊美。
你說呢？
Last but not least，做出這款特效的技術(shù)團隊是快手的Y-tech團隊，這里也特別傳送門一下：
快手Y-tech，是快手在人工智能等前沿領(lǐng)域的探索者和先行者，以研發(fā)前沿科技、提升用戶體驗、創(chuàng)造用戶價值為使命，致力于在計算機視覺、機器學(xué)習(xí) 、深度學(xué)習(xí)和計算機圖形學(xué)等領(lǐng)域開展技術(shù)研究和業(yè)務(wù)落地。
研究的技術(shù)方向還包括圖像處理、人臉識別、多媒體技術(shù)、SLAM/AR/VR/MR、三維重建、優(yōu)化算法，推薦，ranking，game AI, 機器學(xué)習(xí)平臺，數(shù)據(jù)庫，數(shù)據(jù)分析，強化學(xué)習(xí)等。
聯(lián)系客服
