多模態(tài)，還是多模態(tài)。
丟出一枚“延遲發(fā)布”煙霧彈后，谷歌出其不意，在深夜憋了個(gè)大的，于當(dāng)?shù)貢r(shí)間12月6日提前發(fā)布了自研大模型Gemini——ChatGPT的最有力競(jìng)爭(zhēng)對(duì)手。
Gemini實(shí)際上是一個(gè)人工智能模型家族：“大杯”Gemini Ultra、“中杯”Gemini Pro、“小杯”Gemini Nano，都支持上下文32K理解。
Gemini三種版本的能力對(duì)比圖
其中，Gemini Ultra主要是為數(shù)據(jù)中心和企業(yè)應(yīng)用設(shè)計(jì)，以其強(qiáng)大的原生多模態(tài)性能，再次引發(fā)了大家對(duì)通用人工智能的想象。
▌原生多模態(tài)碾壓ChatGPT
多模態(tài)從一開始就是谷歌大模型框架的一部分。
OpenAI當(dāng)下最強(qiáng)大的大模型GPT 4也號(hào)稱多模態(tài)模型，它是怎么實(shí)現(xiàn)的呢？不是直接訓(xùn)練一個(gè)多模態(tài)模型，OpenAI先分別訓(xùn)練了純文本、純視覺(jué)和純音頻模型，然后將他們拼接在一起。
而谷歌從一開始就建立了一個(gè)“多感官”模型，給其“投喂”多模態(tài)數(shù)據(jù)（包括文字、音頻、圖片、視頻、PDF文件等）進(jìn)行訓(xùn)練。隨后，研究人員又用額外的多模態(tài)數(shù)據(jù)進(jìn)行了微調(diào)，進(jìn)一步提升了模型的有效性。
Gemini支持輸入文本、圖像、音頻和視頻，輸出圖像和文字
基于此，谷歌稱其多模態(tài)為原生多模態(tài)（natively multimodal），可以“無(wú)縫”理解、操作和組合不同類型的信息，擁有了強(qiáng)大的交互能力。
為了證明自己的產(chǎn)品比OpenAI的ChatGPT更出色，谷歌甩出了數(shù)張成績(jī)單。
據(jù)谷歌介紹，從自然圖像、音頻、視頻理解到數(shù)學(xué)推理，Gemini Ultra在32個(gè)常用的學(xué)術(shù)基準(zhǔn)的30個(gè)上領(lǐng)先GPT 4。而在MMLU（大規(guī)模多任務(wù)語(yǔ)言理解）測(cè)試中，Gemini Ultra以90.0%的高分，成為第一個(gè)超過(guò)人類專家的模型。
MMLU測(cè)試包括數(shù)學(xué)、物理、歷史、法律、醫(yī)學(xué)和倫理等57個(gè)學(xué)科，旨在考察世界知識(shí)和解決問(wèn)題的能力。
▌多模態(tài)的意義——為人形機(jī)器人鋪路 更貼近AGI
通用人工智能（AGI）是具備與人類同等智能、或超越人類的人工智能，實(shí)現(xiàn)通用人工智能是AI領(lǐng)域的終極目標(biāo)。這樣的AI可以實(shí)現(xiàn)自我學(xué)習(xí)、自我改進(jìn)、自我調(diào)整，進(jìn)而解決任何問(wèn)題而不需要人為干預(yù)，擁有多模態(tài)能力是前提條件。
谷歌DeepMind已經(jīng)在研究如何將Gemini與機(jī)器人技術(shù)結(jié)合起來(lái)，與世界進(jìn)行物理交互。據(jù)Wired報(bào)道，DeepMind首席執(zhí)行官、Gemini團(tuán)隊(duì)代表德米斯哈薩比斯（Demis Hassabis）表示，真正的多模態(tài)需要包括觸摸和觸覺(jué)反饋，將這類多模態(tài)模型應(yīng)用于機(jī)器人技術(shù)能催生很多可能性，“隨著時(shí)間的推移，Gemini的多模態(tài)能力將提升，其將獲得更多的感官，包括觸覺(jué)，我們正在對(duì)此進(jìn)行深入探索?！?/p>
這意味著，Gemini可以真正用人類的方式理解周圍的世界，接收各種類型的數(shù)據(jù)，包括文字、代碼、音頻、圖像、視頻，并給出同樣多樣化的響應(yīng)，包括操縱機(jī)械臂給出動(dòng)作回應(yīng)，人類離通用人工智能更近了一步。
▌?dòng)糜诙藗?cè)設(shè)備的最高效模型 可在安卓設(shè)備上本地離線運(yùn)行
谷歌表示，Gemini還是他們迄今為止最靈活的模型，能夠高效地運(yùn)行在數(shù)據(jù)中心和移動(dòng)設(shè)備等多類型平臺(tái)上。
端側(cè)運(yùn)行任務(wù)交給了Gemini Nano。Gemini Nano是通過(guò)對(duì)其他模型蒸餾得來(lái)的4位模型，號(hào)稱用于端側(cè)設(shè)備最高效的模型，可以在安卓設(shè)備上本地離線運(yùn)行，Pixel 8 Pro的用戶馬上就能體驗(yàn)到。Gemini Nano有兩種型號(hào)，Nano-1（18億參數(shù)）和Nano-2（32.5億參數(shù)）——分別針對(duì)低內(nèi)存和高內(nèi)存設(shè)備。
Pixel 8 Pro在錄音機(jī)應(yīng)用中使用Gemini Nano來(lái)總結(jié)會(huì)議音頻，即使沒(méi)有網(wǎng)絡(luò)連接也可以實(shí)現(xiàn)
谷歌表示，得益于Gemini Nano，AI可以在更多樣的設(shè)備、平臺(tái)上運(yùn)行，每個(gè)人都可以貼近AI。
Gemini Nano目前僅適用于Pixel 8 Pro上的Android 14。
▌一些多模態(tài)應(yīng)用實(shí)例
Gemini會(huì)結(jié)合語(yǔ)言詢問(wèn)，以及配圖中的食材，手把手教你該怎么做菜：
Gemini特別擅長(zhǎng)對(duì)數(shù)學(xué)和物理等復(fù)雜學(xué)科的問(wèn)題進(jìn)行推理。舉個(gè)例子，一位老師給出了一個(gè)物理問(wèn)題“計(jì)算滑雪者在斜坡底部的速度”，一位學(xué)生提出了一個(gè)解決方案來(lái)。利用Gemini的多模態(tài)推理能力，該模型能夠識(shí)別手寫內(nèi)容、理解問(wèn)題，將問(wèn)題和解決方案都轉(zhuǎn)換為數(shù)學(xué)公式，找出出學(xué)生在解決問(wèn)題時(shí)出錯(cuò)的具體推理步驟，最后給出問(wèn)題的正確解決方案。
Gemini展示的其他多模態(tài)（以下例子中，輸入包括圖片、圖表、視頻、文字）理解能力：
Gemini猜對(duì)了紙團(tuán)在最左邊的杯子里
看圖定位能力
厘清人物關(guān)系圖譜
圖像生成能力
分析視頻為球員提供建議
理解網(wǎng)絡(luò)梗圖
▌何時(shí)可用？
目前，谷歌沒(méi)有進(jìn)行現(xiàn)場(chǎng)展示，也沒(méi)有開發(fā)對(duì)外測(cè)試，實(shí)際效果依然要打一個(gè)問(wèn)號(hào)。
從發(fā)布日起，Gemini可開始應(yīng)用于Bard和Pixel 8 Pro智能手機(jī)，在接下來(lái)的幾個(gè)月中，Gemini將陸續(xù)出現(xiàn)在谷歌更多的產(chǎn)品和服務(wù)中，包括搜索、廣告、Chrome、Duet AI等等——
Bard將使用Gemini Pro的微調(diào)版本來(lái)執(zhí)行更高級(jí)的推理、規(guī)劃、理解等任務(wù)，這也是Bard自推出以來(lái)最大的升級(jí)，從12月13日開始，開發(fā)人員和企業(yè)客戶可以通過(guò)Google AI Studio或Google Cloud Vertex AI中的 Gemini API訪問(wèn)Gemini Pro；
Pixel 8 Pro將是第一款運(yùn)行Gemini Nano的智能手機(jī)，該手機(jī)于10月4日正式發(fā)布，是谷歌最新一代高端旗艦機(jī)。安卓開發(fā)人員可以通過(guò)AI Core使用Gemini Nano進(jìn)行構(gòu)建。Android AICore是Android 14中的一項(xiàng)新系統(tǒng)服務(wù)，可處理模型管理、運(yùn)行時(shí)、安全功能等，簡(jiǎn)化用戶將AI融入應(yīng)用程序的工作。
而對(duì)于“王炸”版本Gemini Ultra，谷歌表示，其目前正處于信任和安全檢查階段，包括由受信任的外部方進(jìn)行紅隊(duì)檢查，并在廣泛使用之前使用微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)進(jìn)一步完善模型。在這個(gè)過(guò)程中，谷歌會(huì)先向部分客戶、開發(fā)人員、合作伙伴以及安全和責(zé)任專家提供Gemini Ultra，供其進(jìn)行早期實(shí)驗(yàn)和反饋，然后在明年初向開發(fā)人員和企業(yè)客戶推出。
聯(lián)系客服
