導(dǎo)讀：
知識圖譜是一種特殊的圖結(jié)構(gòu)，它包含了語義信息與圖結(jié)構(gòu)信息。它可以被應(yīng)用在多個領(lǐng)域，如QA問答系統(tǒng)、推薦系統(tǒng)、新藥發(fā)現(xiàn)、股市預(yù)測等?，F(xiàn)在無論是學(xué)術(shù)界還是工業(yè)界都陸續(xù)提出了自己的知識圖譜構(gòu)建平臺。第四范式也建立了低門檻、全流程的知識圖譜平臺Sage Knowledge Base。今天的分享旨在從三元組到子圖的維度來介紹自動化知識圖譜表示學(xué)習(xí)的相關(guān)技術(shù)。
今天的介紹會圍繞下面四點展開：
首先和大家分享下知識表示學(xué)習(xí)的背景。
知識圖譜是一種特殊的圖結(jié)構(gòu)，它使用實體來表示自然界的物體或者抽象的概念，使用關(guān)系來建模實體之間的交互，其基本的存儲形式是（頭實體h，關(guān)系r，尾實體t）的三元組。知識圖譜是一個語義圖，它既包含語義信息又包含圖結(jié)構(gòu)信息。
知識表示學(xué)習(xí)旨在學(xué)習(xí)將知識圖譜中的符號（包括實體和關(guān)系）映射到一個低維的向量空間。其優(yōu)點在于學(xué)習(xí)得到的向量是連續(xù)的，且可以發(fā)掘隱藏的性質(zhì)。此外，在向量空間中計算相似度是十分高效的。
知識圖譜表示學(xué)習(xí)的整體框架如上圖所示。給定一個知識圖譜，我們將圖中所有存在的三元組作為正樣本，同時我們也需要在圖中采樣負(fù)樣本，我們需要保證負(fù)樣本不存在于知識圖譜中，通常的做法為將圖中存在的三元組的頭實體、尾實體、關(guān)系選擇至少一個進(jìn)行隨機(jī)替換。得到正負(fù)三元組后，我們會設(shè)計一個模型對知識圖譜進(jìn)行建模，通過循環(huán)迭代來優(yōu)化損失函數(shù)，更新embedding以及模型參數(shù)。我們的優(yōu)化目標(biāo)是盡可能多地保留原圖中蘊含的信息。
知識圖譜表示學(xué)習(xí)有以下幾個基本的任務(wù)：
這里以鏈接預(yù)測任務(wù)為例展示知識圖譜表示學(xué)習(xí)的評估指標(biāo)。對于給定的三元組(h,r,t)，我們可以把頭實體或者尾實體替換為圖中所有的實體組成一個集合，那么評估任務(wù)就是得到模型經(jīng)過打分排序后對正樣本的排名。評價指標(biāo)有三類：mean rank (MR)，mean reciprocal rank (MRR)以及Hit@K。三個指標(biāo)的評估側(cè)重點不一樣。MR受離群值的影響較大，MRR更關(guān)注準(zhǔn)確率，Hit@K更關(guān)注召回率。
知識圖譜表示學(xué)習(xí)由五個關(guān)鍵模塊組成。首先，我們需要定義一個打分函數(shù)對問題進(jìn)行建模；然后，由于圖譜中只包含正樣本，那么負(fù)采樣的設(shè)計也十分關(guān)鍵；得到正負(fù)樣本之后我們需要定義一個損失函數(shù)；同時，為了避免模型過擬合，我們需要設(shè)計正則化項；最后，我們針對損失函數(shù)以及正則化項進(jìn)行整體的模型優(yōu)化。
給定一系列三元組，我們需要對它們進(jìn)行打分。目前有三類建模方法：基于三元組，直接對其進(jìn)行打分；基于路徑，我們需要找到頭實體和尾實體的連接路徑，通過尋找到的一系列路徑進(jìn)行推理；基于子圖，我們需要在圖譜中抽取包含頭實體與尾實體的子圖，然后根據(jù)子圖信息進(jìn)行推理。
負(fù)采樣的基本做法是對給定的正樣本(h,r,t)，我們將頭實體或者尾實體隨機(jī)替換為圖中另外一個實體，并且這個新的三元組不存在于圖譜中。
但是由于負(fù)樣本集合的數(shù)量十分龐大，進(jìn)行簡單的隨機(jī)采樣會導(dǎo)致得到的負(fù)樣本質(zhì)量較差。在2018年，學(xué)術(shù)界提出了基于對抗神經(jīng)網(wǎng)絡(luò)的方法生成高質(zhì)量負(fù)樣本，但是這一類方法的問題在于：我們需要單獨訓(xùn)練一個生成模型來輸出負(fù)樣本，而且由于樣本是離散的，模型的學(xué)習(xí)過程需要基于強(qiáng)化學(xué)習(xí)。這兩大問題會導(dǎo)致整體模型的學(xué)習(xí)十分不穩(wěn)定。
我們針對以上問題，提出一個將高質(zhì)量負(fù)樣本存儲在緩存中的方法。在訓(xùn)練過程中，負(fù)樣本的生成、抽取和更新是不斷進(jìn)行的，保證模型能得到高質(zhì)量負(fù)樣本的同時大幅提升訓(xùn)練效率，且這一方法不需要額外訓(xùn)練一個樣本生成模型。以上工作發(fā)表在ICDE 2019會議與VLDB-J 2021期刊上。
模型需要平衡表達(dá)能力和復(fù)雜度。在知識圖譜中，由于embedding的參數(shù)十分龐大，我們必須考慮對模型進(jìn)行正則化。正則化的通用方法有：將embedding的范數(shù)限制在小于1的范圍內(nèi)；加入一個p范數(shù)的regularizer；增加針對embedding的dropout。
模型參數(shù)可以通過隨機(jī)梯度下降的方法來進(jìn)行優(yōu)化。整個算法流程如上圖所示，我們首先在圖譜上抽取正樣本，并通過負(fù)采樣得到負(fù)樣本，隨后使用模型得到三元組的打分，最后基于包含正則化項的損失函數(shù)來更新embedding。模型優(yōu)化過程中包含很多超參數(shù)，如學(xué)習(xí)率、初始化、batch size、dimension size、early stop等。
超參數(shù)優(yōu)化是我們一個重點研究的方向。大部分超參數(shù)優(yōu)化算法每次迭代時在搜索空間中選取一組參數(shù)，在整個知識圖譜上評估模型效果，但這一算法費時費力。在今年的ACL會議中，我們提出了KGTuner。這是一個兩階段的超參數(shù)搜索優(yōu)化算法。在第一階段，我們大幅減少了參數(shù)搜索空間，并且使得算法在一個采樣得到的子圖上評估模型效果。通過這一方法，我們可以在第一階段搜索中探索大量優(yōu)質(zhì)的超參數(shù)樣本，選取模型效果最好的top10超參數(shù)，作為第二階段fine-tune的候選集合。第二階段搜索優(yōu)化的過程中我們會增加樣本的batch size和dimension size，并基于完整的圖譜來評估模型效果，最終確定最優(yōu)的超參數(shù)。
下面簡單介紹一下自動化機(jī)器學(xué)習(xí)AutoML。AutoML將搜索空間和搜索目標(biāo)包裝成一個上層的優(yōu)化問題，從而使得整個超參數(shù)優(yōu)化問題可以轉(zhuǎn)化為一個Bi-level的優(yōu)化過程。具體地，搜索空間定義了我們需要搜索的對象（如超參數(shù)、模型結(jié)構(gòu)等），訓(xùn)練目標(biāo)位于優(yōu)化問題的內(nèi)層，搜索目標(biāo)位于優(yōu)化問題的外層，同時在搜索的過程中存在一些限制條件。
不同知識圖譜的數(shù)據(jù)集數(shù)據(jù)分布差異較大，它們包含的關(guān)系種類也各不相同，例如關(guān)系種類可以分為：對稱性、反對稱性、相反性、非對稱性、組合性等。另外，知識圖譜的下游任務(wù)多種多樣，如邊預(yù)測、實體匹配、節(jié)點分類等。面對如此復(fù)雜的數(shù)據(jù)以及多樣的任務(wù)，如果我們想要進(jìn)行統(tǒng)一的建模則需要豐富的專家知識才能完成，而AutoML可以幫助我們有效地降低建模的門檻。
AutoML搜索優(yōu)化的定義也可以一一對應(yīng)于超參數(shù)優(yōu)化的四個組成模塊：
AutoML也有很多待選擇的搜索算法。傳統(tǒng)的搜索算法有g(shù)rid search, random search, 貪心算法，遺傳算法等。此外，我們還有一些基于模型的優(yōu)化算法，如貝葉斯優(yōu)化、強(qiáng)化學(xué)習(xí)、梯度下降算法等。
下面我來重點分享針對知識圖譜表示學(xué)習(xí)的模型設(shè)計。
在過去的十年間，業(yè)界提出了大量的打分函數(shù)來建模三元組，它們對三元組中存在的關(guān)系的捕捉側(cè)重點各有不同。我們先來介紹基于三元組的模型。
首先是基于平移距離的模型。例如TransE以及它的衍生模型TransH和RotatE將三元組建模為頭實體經(jīng)過關(guān)系r在一個向量空間中進(jìn)行平移后得到尾實體，通過向量的距離差來設(shè)計模型的打分函數(shù)。TransH和RotatE解決了TransE在一對多與對稱關(guān)系中建模能力不足的問題。但是總體來說，基于平移距離的模型表達(dá)能力不足，導(dǎo)致其在邊預(yù)測任務(wù)中效果不盡如人意。
隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，如基于多層感知器（MLP）的模型、基于卷積神經(jīng)網(wǎng)絡(luò)的模型（ConvE）以及基于遞歸神經(jīng)網(wǎng)絡(luò)的模型（RSN）被業(yè)界提出，用來建模三元組的知識表示學(xué)習(xí)。但是，基于神經(jīng)網(wǎng)絡(luò)的模型通常較為復(fù)雜并且難以被訓(xùn)練。
最后一類是雙線性模型，它們也是基于三元組的知識表示學(xué)習(xí)中效果最好的一類。雙線性模型的表達(dá)能力強(qiáng)且模型復(fù)雜度不高。2011年被提出的RESCAL便是一個典型的雙線性模型。通俗來說，線性模型是一個矩陣乘以一個向量，而雙線性模型則是則一個矩陣兩側(cè)分別左乘和右乘一個向量（頭實體向量和尾實體向量），最后得到一個標(biāo)量來作為三元組的得分。RESCAL的relation矩陣的維度是D×D，其包含的參數(shù)過多，從而導(dǎo)致模型的過擬合。
為了解決過擬合問題，DistMult將relation矩陣限制為一個對角矩陣。但是DistMult的打分函數(shù)滿足交換律，導(dǎo)致其不能建模一些非對稱的關(guān)系。
為了方便統(tǒng)一建模雙線性模型，DistMult可以拆分為上圖所示的表達(dá)形式。例如，我們將頭實體和尾實體向量都分為四份，那么DistMult可以被分解為四組內(nèi)積相加的形式。
為了解決DistMult不能建模非對稱關(guān)系的問題，ComplEx將實體向量與關(guān)系矩陣所在空間從實數(shù)空間轉(zhuǎn)換為復(fù)數(shù)空間。那么由于復(fù)數(shù)乘法的不對稱性，ComplEx可以建模非對稱的關(guān)系。
同理，我們也可以對ComplEx進(jìn)行類似于DistMult的拆分，寫成四組實部內(nèi)積之和和四組虛部內(nèi)積之和的形式。事實上，對于所有基于雙線性建模的模型，我們都可以將其拆分為類似的表達(dá)形式，具體細(xì)節(jié)這里就不再展開，感興趣的同學(xué)可以通過查看對于論文來進(jìn)行了解。
以上所有雙線性模型的不同之處在于對于relation矩陣的建模方式各有差異。雖然每一個模型都具有很好的表達(dá)能力，但是針對多種多樣的下游任務(wù)，它們每一個都無法在所有任務(wù)中優(yōu)于其他同類型方法，導(dǎo)致其泛化能力不足?；陔p線性模型的表達(dá)形式以及之前方法存在的問題，我們提出了AutoSF，旨在自動化搜索relation矩陣的建模方法，從而達(dá)到統(tǒng)一建模的目標(biāo)。
對搜索問題的定義如上圖所示。考慮到雙線性模型的差異在于relation矩陣的不同形式，所以我們把問題抽象為：對于一個K×K的relation矩陣，每一個元素我們可以在-K,…0,…K這（2K+1）個數(shù)字中選擇一個來進(jìn)行填充。給定搜索空間，我們每次在搜索空間中選取一個結(jié)構(gòu)（即一個relation矩陣），它對應(yīng)于一個打分函數(shù)；基于這個打分函數(shù)我們可以訓(xùn)練一個模型，并在驗證集中使用評估函數(shù)衡量模型效果；得到的結(jié)果傳遞至優(yōu)化器，旨在在搜索空間中選取在驗證集中能得到更好的效果的結(jié)構(gòu)。通過循環(huán)迭代，最終得到最優(yōu)的打分函數(shù)。搜索空間十分龐大，大小為
在AutoSF中我們提出了漸進(jìn)式的搜索算法。以上圖為例，首先我們搜索在測試集中表現(xiàn)最好的relation矩陣，且限制其僅含有四個非零元素；在此基礎(chǔ)上，每次迭代我們進(jìn)一步增加非零元素的個數(shù)，并搜索對應(yīng)條件下評價指標(biāo)最好的relation矩陣。漸進(jìn)式算法的靈感來源于我們希望保證每次對效果最好的relation矩陣進(jìn)行微調(diào)，從而使其逐漸地找到最優(yōu)結(jié)構(gòu)。但是，漸進(jìn)式搜索算法屬于貪心算法，容易得到局部最優(yōu)解。為了解決這個問題，我們在AutoSF+中提出了基于遺傳算法的搜索模式。具體地，我們可以在每次迭代時使用變異和交叉操作對矩陣進(jìn)行修改，然后在所有修改的矩陣中保留一部分性能較好的矩陣，最終找到更好的relation矩陣。一般來說，這一算法相較于漸進(jìn)式算法會更加靈活。
同時，在選取矩陣的過程中我們會考慮領(lǐng)域的性質(zhì)。我們設(shè)計一個過濾器來減少冗余評估。比如，包含全零行或者全零列的矩陣不需要被評估；某些矩陣之間是等價的，我們僅需保留其中一個矩陣進(jìn)行評估即可。此外，在文章中我們證明了矩陣的對稱性是模型是否可以全面表達(dá)知識圖譜的重要性質(zhì)。所以，我們定義了一個基于relation矩陣的對稱性來進(jìn)行模型性能預(yù)測的預(yù)測器，它通過矩陣中包含的對稱性相關(guān)特征，使用兩層MLP對模型性能進(jìn)行打分。
實驗結(jié)果表明雙線性模型比基于平移距離的模型與基于神經(jīng)網(wǎng)絡(luò)的模型效果更好。此外，對于每一組雙線性模型，在不同數(shù)據(jù)集下的表現(xiàn)均有所差異，不存在絕對的勝者。而AutoSF通過搜索算法在不同數(shù)據(jù)集中都可以得到最優(yōu)的效果。我們對搜索到的結(jié)構(gòu)進(jìn)行了可視化，如上圖所示?？梢杂^察到，AutoSF搜索到的最優(yōu)關(guān)系結(jié)構(gòu)在不同數(shù)據(jù)集下各不相同，這證明了我們的方法達(dá)到了data dependent的目標(biāo)。
最后對基于三元組的知識圖譜表示學(xué)習(xí)進(jìn)行簡單的總結(jié)。雙線性模型是基于三元組的建模方法中效果最好的。AutoSF(+)是一個基于AutoML的雙線性打分模型，其搜索空間是統(tǒng)一表達(dá)形式下的雙線性模型，它們可以保證模型擁有出色的表達(dá)能力。AutoSF(+)使用了漸進(jìn)式以及基于遺傳算法的搜索算法，并設(shè)計了過濾器和預(yù)測器來引入領(lǐng)域?qū)傩蕴卣?，進(jìn)一步提升模型結(jié)構(gòu)搜索性能。相關(guān)文章發(fā)表在了ICDE 2020會議以及TPAMI 2022期刊中。
下面來介紹一下基于關(guān)系路徑的模型。
三元組的表達(dá)能力有限，如果我們可以將三元組中的頭實體和尾實體通過圖中一條路徑進(jìn)行連接，那么我們就可以得到更加豐富的信息。首先，三元組本身會被保留在路徑之中；其次，路徑可以表達(dá)更復(fù)雜的關(guān)系；此外，路徑中還包含了多個三元組之間的長鏈信息。
PTransE基于TransE做了拓展，將三元組改造為一系列由多個關(guān)系組合而成的路徑。類似于TransE，頭實體和尾實體之間的關(guān)系可以使用平移向量之和來表達(dá)。具體公式如上圖所示。但是，與TransE存在的問題一樣，它無法解決一對多與對稱關(guān)系，所以PTransE的建模效果一般。
RSN（Recurrent Skipping Network）使用RNN來建模路徑，其中實體節(jié)點加入了skip connection結(jié)構(gòu)，最終輸出對應(yīng)的實體與關(guān)系embedding。RSN可以很好地建模長期信息，但它很難有效地捕捉三元組內(nèi)部的語義信息。
為了解決前述方法的缺陷，我們提出了Interstellar模型。我們以每個三元組為單位將路徑進(jìn)行切分。針對每個三元組，我們可以對模型的建模結(jié)構(gòu)進(jìn)行搜索。如果我們將三元組之間的路徑斷開，那么模型就可以退化為基于三元組的建模方式；如果我們將路徑中間每個三元組的尾實體去除（輸入0向量），那么模型就退化為PTransE（只建模關(guān)系向量表達(dá)）。通過這一策略，我們可以使得模型自動化地捕捉路徑中包含的不同語義信息與性質(zhì)。
與AutoSF相同，我們需要對模型的搜索算法進(jìn)行設(shè)計。若我們直接采用AutoSF的搜索算法，將每一組新的結(jié)構(gòu)配置對應(yīng)的模型進(jìn)行一次完整的訓(xùn)練（stand-alone）則會有很高的代價，但是這一做法的好處是可以得到精準(zhǔn)的模型評估結(jié)果。相對地，基于one-shot的方法會共享已經(jīng)訓(xùn)練好的模型參數(shù)，使得這一類型的搜索算法十分高效，但是代價是只能得到不可靠的模型評估結(jié)果。我們的算法吸收了這兩類算法的優(yōu)點，在宏觀層面（connection、combinators）使用stand-alone的方法得到對模型結(jié)構(gòu)配置的準(zhǔn)確效果評估，而在微觀層面（activation、weight matrix）使用one-shot的方法得到高效的模型評估結(jié)果。
在實體匹配任務(wù)中，經(jīng)過對比實驗我們可以發(fā)現(xiàn)Interstellar相較于其他基礎(chǔ)模型都有很大的性能提升；在不同的數(shù)據(jù)集上，我們的模型也對三元組建模了完全不同的結(jié)構(gòu)配置。在鏈接預(yù)測任務(wù)中，我們觀察到WN18-RR數(shù)據(jù)集中一跳的關(guān)系較多，而相對的在FB15k-237數(shù)據(jù)集中兩跳關(guān)系的占比較高。Interstellar最終給出的三元組結(jié)構(gòu)搜索結(jié)果也很好地體現(xiàn)了這一特點，可視化圖示如上所示。以上結(jié)果佐證了我們所提出的模型的建模結(jié)果與數(shù)據(jù)具有強(qiáng)相關(guān)性，且模型針對結(jié)構(gòu)搜索的設(shè)計對最終性能的提升有著關(guān)鍵作用。
在這里，我對基于關(guān)系路徑的建模方法做一個總結(jié)。首先，基于關(guān)系路徑的方法與基于三元組的方法相比蘊含了更多的信息。我們提出了Interstellar，它是一個基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的算法，可以遞歸地處理路徑中實體之間的關(guān)系。搜索空間分為宏觀搜索空間（connections以及combinators算子）與微觀搜索空間（activations以及weighting matrices）；搜索算法利用了stand alone與one-shot方法中各自的優(yōu)點，設(shè)計了一種混合式的搜索算法。以上工作發(fā)表在了NeurIPS 2020會議中。
最后一類方法是基于子圖的圖神經(jīng)網(wǎng)絡(luò)（GNN）模型。圖神經(jīng)網(wǎng)絡(luò)近些年在包含圖結(jié)構(gòu)的數(shù)據(jù)中展現(xiàn)了強(qiáng)大的表達(dá)能力。在知識圖譜表示學(xué)習(xí)領(lǐng)域，最近也有不少模型嘗試將GNN運用至圖譜的子圖中。
R-GCN、CompGCN、KE-GCN三種方法都是以淺層的embedding作為模型輸入，使用關(guān)系型GNN進(jìn)行節(jié)點聚合得到高層embedding，再通過TransE、ConvE等打分函數(shù)來得到最終得分。但是這類型方法需要加載完整的知識圖譜，導(dǎo)致其可擴(kuò)展性較差；另外，這類模型依賴于打分函數(shù)，且使用GNN后對模型最終效果的提升有限。
2020年業(yè)界提出了GraIL模型，它基于給定的頭實體與尾實體將包含它們的子圖從原圖譜中抽取出來，隨后基于節(jié)點與頭尾實體的距離進(jìn)行entity labeling，最后使用GNN對子圖進(jìn)行消息傳遞與更新。最終我們可以得到以頭實體與尾實體組成的三元組的打分。GraIL不需要經(jīng)過訓(xùn)練的embedding就可以做歸納式推理，這就使得其對于未知節(jié)點也可以使用圖結(jié)構(gòu)進(jìn)行打分，但是子圖的抽取與子圖中節(jié)點標(biāo)簽的生成的時間復(fù)雜度較高。
基于前述模型的缺點，我們提出了RED-GNN的模型。首先，我們利用關(guān)系路徑，將圖中得到的路徑增強(qiáng)至同一長度，具體做法是引入了identity關(guān)系；隨后，我們將所有路徑進(jìn)行堆疊，得到一個關(guān)系子圖（有向圖，保留了信息的傳播方向）。
由于關(guān)系子圖中層與層之間的路徑存在overlapping，我們可以利用動態(tài)規(guī)劃的方式來一次性建模所有共有相同頭實體的關(guān)系子圖。如上圖所示，左側(cè)是傳統(tǒng)的GNN計算方法，我們需要對每一個關(guān)系子圖進(jìn)行單獨的計算，而右側(cè)展現(xiàn)了RED-GNN的計算方法，我們可以使用遞歸計算與并行計算，使得GNN一次性建模多個關(guān)系子圖。GNN的信息聚合是基于實體之間的關(guān)系信息，并且采用了attention機(jī)制進(jìn)行自適應(yīng)融合。
上圖展示了對比實驗的結(jié)果。RED-GNN是一個純粹使用子圖結(jié)構(gòu)的模型，并沒有使用實體embedding，所以它同時適用于transductive以及inductive的推理。從實驗結(jié)果中我們可以發(fā)現(xiàn)，即使模型沒有使用任何embedding信息，它的效果依然優(yōu)于絕大部分方法。由于模型的參數(shù)量較少，且設(shè)計了基于動態(tài)規(guī)劃的算法，RED-GNN的計算效率相較于GraIL有了很明顯的提升。
現(xiàn)在我來對基于GNN的方法進(jìn)行總結(jié)。首先，單純將GNN經(jīng)過少量修改使用到知識圖譜表示學(xué)習(xí)中的效果并不理想。我們提出了RED-GNN模型，通過對于子圖結(jié)構(gòu)進(jìn)行基于GNN的學(xué)習(xí)，在transductive與inductive推斷中均取得了SOTA的效果。我認(rèn)為知識圖譜中的子圖學(xué)習(xí)是一個很有潛力的研究方向，目前該方法面臨著計算效率的挑戰(zhàn)。
今天我們針對知識圖譜表示學(xué)習(xí)領(lǐng)域介紹了三類模型：
使用AutoML設(shè)計模型結(jié)構(gòu)可以大幅提升知識圖譜表示學(xué)習(xí)的性能，但是在使用這一方法時，我們需要針對搜索空間與搜索算法考慮領(lǐng)域的先驗知識與性質(zhì)。
未來我們可以從以下四個方面來繼續(xù)探索知識圖譜表示學(xué)習(xí)：
將GNN的結(jié)構(gòu)設(shè)計轉(zhuǎn)變?yōu)橐粋€自動化的流程；
我們在實踐中發(fā)現(xiàn)通過AutoML可以緩解長尾關(guān)系欠學(xué)習(xí)的問題。因為AutoML的評估方式可以間接地增加那些學(xué)習(xí)得不好的關(guān)系樣本的權(quán)重，從而使得優(yōu)化模型結(jié)構(gòu)設(shè)計時考慮到這些長尾關(guān)系的學(xué)習(xí)效果。事實上，這就類似于upsampling的方式。此外，可考慮通過小樣本學(xué)習(xí)的方式更有針對性地去學(xué)習(xí)長尾關(guān)系。
聯(lián)系客服
