中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

前言

核心知識點

AI大模型是“人工智能預(yù)訓(xùn)練大模型”的簡稱，一種機器學(xué)習(xí)模型，包含了“預(yù)訓(xùn)練”和“大模型”兩層含義，二者結(jié)合產(chǎn)生了一種新的人工智能模式。即模型在大規(guī)模數(shù)據(jù)集上完成了預(yù)訓(xùn)練后無需微調(diào)，或僅需要少量數(shù)據(jù)的微調(diào)，就能直接支撐各類應(yīng)用。

大模型一般指1億以上參數(shù)的模型，但是這個標準一直在升級，目前萬億參數(shù)以上的模型也有了。大語言模型（Large Language Model，LLM）是針對語言的大模型。

2021年8月，李飛飛、Percy Liang等百來位學(xué)者聯(lián)名發(fā)布了文章：On the Opportunities and Risks of Foundation Models[1]，提出“基礎(chǔ)模型”(Foundation Models)的概念：基于自監(jiān)督學(xué)習(xí)的模型在學(xué)習(xí)過程中會體現(xiàn)出來各個不同方面的能力，這些能力為下游的應(yīng)用提供了動力和理論基礎(chǔ)，稱這些大模型為“基礎(chǔ)模型”。簡單理解就是智能化模型訓(xùn)練的底座。具體應(yīng)用場景不同分為小模型和大模型。

大模型也從2012年的萌芽期，發(fā)展到2016年的AI1.0時期，再到2022年ChatGPT帶來的AI2.0時期，模型參數(shù)均較前一代有數(shù)量級的飛躍，如OpenAI最新發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4約有超過2000億參數(shù)，谷歌最新推出“通才”大模型PaLM-E，擁全球已公開的最大規(guī)模的5620億參數(shù)，能夠表現(xiàn)出更優(yōu)秀的性能和應(yīng)用價值。目前，國內(nèi)AI大模型研發(fā)和應(yīng)用領(lǐng)域也正迎來高速發(fā)展熱潮，科技部新一代人工智能發(fā)展研究中心也隨即發(fā)布了《中國人工智能大模型地圖研究報告》，各類 AI 大模型產(chǎn)品層出不窮，“千模大戰(zhàn)”已經(jīng)打響。

AI大模型可以學(xué)習(xí)和處理更多的信息，比如圖像、文字、聲音等，也可以通過訓(xùn)練，完成各種復(fù)雜的任務(wù)。比如智能語音助手和圖像識別軟件都會用到AI大模型。

國內(nèi)外有哪些大模型

OpenAI：OpenAI是一家人工智能研究公司，擁有多個大型語言模型，包括GPT等。

Google：Google擁有很多大型深度學(xué)習(xí)模型，包括BERT、Transformer等。

Facebook：Facebook擁有很多大型深度學(xué)習(xí)模型，包括XLM-R、RoBERTa等。

Microsoft：Microsoft擁有很多大型深度學(xué)習(xí)模型，包括Turing-NLG、DialoGPT等。

特斯拉：成立X.AI公司，為了探索宇宙的奧秘

蘋果：正式官宣加入大模型陣營，建立自己的框架來創(chuàng)建大語言模型“Ajax”,蘋果還創(chuàng)建了一個聊天機器人服務(wù)“Apple GPT”，股價再次突破新高

    一面狂熱，一面冷峻是最好的形容。在過去的幾個月里，各大廠相繼出招，先是3月16日，百度率先發(fā)布“文心一言”，期望對標ChatGPT；再到阿里巴巴旗下超大規(guī)模語言模型“通義千問”開放內(nèi)測，萬維和商湯科技分別發(fā)布大模型產(chǎn)品；創(chuàng)新工場CEO李開復(fù)、前搜狗CEO王小川、前京東AI掌門人周伯文、前美團聯(lián)合創(chuàng)始人王慧文等行業(yè)大佬紛紛宣布下場，國產(chǎn)大模型賽道競爭激烈。

    大模型的建造離不開綜合算力資源、算法人才、數(shù)據(jù)積累及產(chǎn)品先發(fā)幾大核心要素。事實也正是如此，只有大廠才有大量資金和人才發(fā)展算力、算法、數(shù)據(jù)，也最有機會率先落地大模型。

專業(yè)名詞大全

1. 算法：類比碳基物種，硅基物種的大腦就是模型。我們現(xiàn)在說的算法（比如Transformer）代表大腦（模型）的能力，Transformer的出現(xiàn)確實極大程度地推動了AI的發(fā)展。但現(xiàn)階段，在處理多模態(tài)數(shù)據(jù)時還有很大挑戰(zhàn)，在算法層面未來一定會有新的突破。

2、模型參數(shù)：一個剛出生的人類幼崽隨著年齡的增長，大腦本身在增長，模型參數(shù)的數(shù)量增加可以類比人類大腦本身的成長和成熟；隨著人類幼崽成長中接觸的事物增加，大腦的認知在改變，參數(shù)的數(shù)值可以類比人類利用外界信息給自己構(gòu)建的認知。

3、訓(xùn)練數(shù)據(jù)：人類成長過程中對認知的構(gòu)建，70%是通過視覺，20%是通過聽覺，其他包括味覺、觸覺、嗅覺等等，通過這些感官接受這個世界的信息來構(gòu)建對世界的了解。模型的訓(xùn)練數(shù)據(jù)某種程度類比于這些信息，你讓模型看到了多少和什么質(zhì)量的數(shù)據(jù)，決定了他未來的認知，即參數(shù)的數(shù)量和數(shù)值。

4、Token：我們常常會聽到Token這個詞，Token的概念相當(dāng)于文字，一個中文文字對應(yīng)一個token，比如冰激凌，對應(yīng)三個token：冰+激+凌；一個英文的字符對應(yīng)一個token，比如icecream，對應(yīng)兩個token：ice+cream。

5、175B、60B、540B等：這些一般指參數(shù)的個數(shù)，B是Billion/十億的意思，175B是1750億參數(shù)，這是ChatGPT大約的參數(shù)規(guī)模。

6、強化學(xué)習(xí)：（Reinforcement Learning）一種機器學(xué)習(xí)的方法，通過從外部獲得激勵來校正學(xué)習(xí)方向從而獲得一種自適應(yīng)的學(xué)習(xí)能力。

7、 基于人工反饋的強化學(xué)習(xí)（RLHF）：（Reinforcement Learning from Human Feedback）構(gòu)建人類反饋數(shù)據(jù)集，訓(xùn)練一個激勵模型，模仿人類偏好對結(jié)果打分，這是GPT-3后時代大語言模型越來越像人類對話核心技術(shù)。

8、涌現(xiàn)：（Emergence）或稱創(chuàng)發(fā)、突現(xiàn)、呈展、演生，是一種現(xiàn)象。許多小實體相互作用后產(chǎn)生了大實體，而這個大實體展現(xiàn)了組成它的小實體所不具有的特性。研究發(fā)現(xiàn)，模型規(guī)模達到一定閾值以上后，會在多步算術(shù)、大學(xué)考試、單詞釋義等場景的準確性顯著提升，稱為涌現(xiàn)。

9、泛化：（Generalization）模型泛化是指一些模型可以應(yīng)用（泛化）到其他場景，通常為采用遷移學(xué)習(xí)、微調(diào)等手段實現(xiàn)泛化。

10、微調(diào)：（FineTuning）針對大量數(shù)據(jù)訓(xùn)練出來的預(yù)訓(xùn)練模型，后期采用業(yè)務(wù)相關(guān)數(shù)據(jù)進一步訓(xùn)練原先模型的相關(guān)部分，得到準確度更高的模型，或者更好的泛化。

11、指令微調(diào)：（Instruction FineTuning），針對已經(jīng)存在的預(yù)訓(xùn)練模型，給出額外的指令或者標注數(shù)據(jù)集來提升模型的性能。

12、思維鏈：（Chain-of-Thought，CoT）。通過讓大語言模型（LLM）將一個問題拆解為多個步驟，一步一步分析，逐步得出正確答案。需指出，針對復(fù)雜問題，LLM直接給出錯誤答案的概率比較高。思維鏈可以看成是一種指令微調(diào)。