導(dǎo)讀：本次演講的主題是面向可解釋性的知識圖譜推理研究，報告分為以下 5 個部分：
分享嘉賓｜萬國佳 武漢大學(xué) 計算機(jī)學(xué)院 博士后
編輯整理｜xiaomei
出品平臺｜DataFunTalk
01
研究背景
1. 引言
首先，介紹一下背景。人工智能經(jīng)過 70 多年的發(fā)展，已經(jīng)從計算智能的能存、會算，進(jìn)步到了感知智能的能聽、能看、會認(rèn)、會說，并已有很多系統(tǒng)在此方面做得很出色，但與理想的認(rèn)知智能還有很大的距離。認(rèn)知智能希望機(jī)器能夠?qū)?shù)據(jù)模型、原理進(jìn)行理解、推理、解釋等，這種認(rèn)知智能很大的特點是依賴背景知識，例如，對于新的網(wǎng)絡(luò)概念或網(wǎng)絡(luò)熱詞，如“996”、“YYDS”等，這種新的概念是建立在群體共識下的，非常依賴背景知識，對這種非常符合認(rèn)知智能特點的概念的學(xué)習(xí)和建模是目前的難點，學(xué)習(xí)和表示這種背景知識是非常關(guān)鍵的技術(shù)。
2. 知識圖譜
知識圖譜即是承載和表示背景知識的技術(shù)和工具，以圖的形式，將真實世界中的實體、關(guān)系組織成網(wǎng)，將知識進(jìn)行結(jié)構(gòu)化。以上圖知識圖譜為例，可以知識圖譜中的實體和關(guān)系抽象為圖中的節(jié)點和邊，其特點是：
3. 知識圖譜的下游應(yīng)用
知識圖譜在需要背景知識或知識獲取中應(yīng)用比較廣泛，比較典型的包括：信息檢索、問答/聊天系統(tǒng)，語言、圖像理解等。
信息檢索，利用知識圖譜進(jìn)行概念之間的智能推理、模糊查詢，同時可給關(guān)鍵概念提供知識卡片，方便用戶體驗。
問答/聊天系統(tǒng)，當(dāng)和問答助手或聊天系統(tǒng)進(jìn)行交互時，可解決任務(wù)型問答的問題，則知識圖譜將發(fā)揮比較核心的作用。
語言、圖像理解，利用知識圖譜實現(xiàn)對語言數(shù)據(jù)、文本數(shù)據(jù)、圖像數(shù)據(jù)的理解，利用知識增長的方式幫助學(xué)習(xí)概念之間的關(guān)系，如最近研究比較活躍的VQA、圖像關(guān)系推理等。
4. 知識圖譜推理
以上提到的應(yīng)用中，核心的功能就是知識圖譜推理。所謂知識圖譜推理，就是在知識圖譜中根據(jù)已有的知識來獲得新知識的能力。以上圖中人物關(guān)系知識圖譜為例，已知 X 與 Z、Z 與 M 之間的關(guān)系，Z 是 X 的妻子，M 是 Z 的孩子，則系統(tǒng)可以推理出X是M的父親，這是一種最簡單的推理關(guān)系。
知識圖譜推理可以從兩個角度來看，一是從邏輯演繹的角度，它是一個多個命題約束下真值判斷的問題。二是可以從圖的角度來理解知識圖譜推理，可以建模分析鏈接預(yù)測的問題，可根據(jù)圖中的節(jié)點來預(yù)測節(jié)點之間的關(guān)聯(lián)；如：給出兩個實體，預(yù)測兩者之間有哪種邊，即哪種關(guān)系；給定某一個實體、某一條邊，能預(yù)測出哪些實體與這個實體有某種關(guān)聯(lián)。
--
02
前沿進(jìn)展
1. 主要方法
這里將前沿進(jìn)展的主要方法分為 4 個部分，一是演繹邏輯及規(guī)則；二是基于圖結(jié)構(gòu)的推理；三是知識圖譜嵌入表示；四是深度神經(jīng)網(wǎng)絡(luò)模型。
2. 演繹邏輯及規(guī)則
該方法是非常經(jīng)典且常見的方法。將自然語言查詢轉(zhuǎn)化為邏輯操作符的組合，通過組合來表達(dá)這種查詢，再以具體的編程語言進(jìn)行實現(xiàn)得到查詢，比較著名圖的查詢的實現(xiàn)包括 SPARQL、Cypher、Datalog 等語言的歸納邏輯編程。基于演繹邏輯推理的特點是：
近期研究的一個熱點和熱門是，如何利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，自動地發(fā)掘推理的規(guī)則。
3. 基于圖結(jié)構(gòu)的推理
這里認(rèn)為圖結(jié)構(gòu)有兩個特征：一是路徑特征，代表算法是 PRA 及擴(kuò)展算法，通過圖的遍歷算法或隨機(jī)游走方法來提取節(jié)點間的路徑特征，通過路徑特征來對節(jié)點連接進(jìn)行預(yù)測，其特點是在推理的同時提供路徑可解釋性，但其問題是對于推理節(jié)點沒有連接的問題就不能解決?；趥鹘y(tǒng)的方法，其搜索空間比較大。二是基于圖結(jié)構(gòu)的方法，代表方法是 Grall，利用消息傳遞機(jī)制提取目標(biāo)實體的結(jié)構(gòu)信息，提供子圖可解釋性；但目前子圖結(jié)構(gòu)的方式還不是很成熟，因知識圖譜通常很大，如果遍歷圖中所有的子圖結(jié)構(gòu)，遍歷的方式方法非常重要。
4. 知識圖譜嵌入表示
將知識圖譜高維、離散的數(shù)據(jù)，通過設(shè)計某種得分函數(shù)，將高維知識圖譜嵌入到低緯連續(xù)的向量空間之中，將實體和關(guān)系表示成數(shù)值型的向量進(jìn)行計算，其代表性的模型為 TransE 類型，近期研究的事 RotateE 模型或在雙曲空間中嵌入的模型，其方法的特點是淺層的神經(jīng)網(wǎng)絡(luò)，通過特定的嵌入空間的結(jié)構(gòu)實現(xiàn)知識圖譜語義的表示。
5. 深度神經(jīng)網(wǎng)絡(luò)模型
深度神經(jīng)網(wǎng)絡(luò)模型是通過將實體和關(guān)系設(shè)計成查詢對，通過查詢對與實體、關(guān)系的匹配，通過深度神經(jīng)網(wǎng)絡(luò)得到推理的相似度得分，來進(jìn)行推理的判斷。近期研究的熱點是 Transformer 或圖神經(jīng)網(wǎng)絡(luò)。
知識圖譜嵌入模型和深度網(wǎng)絡(luò)模型都視為神經(jīng)網(wǎng)絡(luò)模型，其相同點是都會設(shè)計一個得分函數(shù)，通過數(shù)據(jù)驅(qū)動的方式，以梯度反向傳播方法進(jìn)行訓(xùn)練。其優(yōu)點是泛化性能比較好，易于數(shù)值計算及并行化，規(guī)模性好，可以有效緩解圖結(jié)構(gòu)維度災(zāi)難的問題。其缺點是只能看到輸入和輸出數(shù)值的相似度，缺乏可解釋性，不知道模型內(nèi)部發(fā)生了什么，是一個黑盒的過程，因此可解釋性差，對噪音的魯棒性不強(qiáng)，只能進(jìn)行單步的推理。
6. 現(xiàn)有方法總結(jié)
這里對主要的推理方法進(jìn)行一個總結(jié)，可以發(fā)現(xiàn)基于邏輯演繹規(guī)則和圖結(jié)構(gòu)的方法都是是基于符號的方法，其可解釋性比較好，但泛化性能比較差，都是離線的計算方式?；谥R圖譜嵌入和深度神經(jīng)網(wǎng)絡(luò)模型，其泛化性能比較好，但可解釋性比較差。
近期研究的重點是如何將符號主義和連接主義的模型進(jìn)行融合來獲得具有可解釋性的知識圖譜推理模型。
--
03
研究動機(jī)
1. 知識圖譜推理的可解釋性
對知識圖譜推理的可解釋性來源進(jìn)行了分類：
2. 強(qiáng)化學(xué)習(xí)
如何對符號主義和連接主義的模型進(jìn)行有效的融合是近期的研究熱點。這里研究的重點是將強(qiáng)化學(xué)習(xí)融入到知識推理中。
強(qiáng)化學(xué)習(xí)是近 10 年來非常受關(guān)注的模型，在控制、游戲、機(jī)器人中得到了廣泛應(yīng)用。其是將一個學(xué)習(xí)過程建模成馬爾科夫過程，通過智能體和環(huán)境的互相交互，通過最大化長期累積的獎賞來訓(xùn)練模型。與環(huán)境交互時會產(chǎn)生軌跡，如果將知識圖譜建模為一個強(qiáng)化學(xué)習(xí)的過程，那么既可以得到推理的結(jié)果，也可以得到推理的路徑，通過推理路徑來解釋知識圖譜推理。
3. 基于強(qiáng)化學(xué)習(xí)的知識圖譜推理
具體的融合方法是將知識圖譜視為一個環(huán)境，將智能體建模成一個深度神經(jīng)網(wǎng)絡(luò)，結(jié)合符號主義和連接主義的優(yōu)缺點，做到取長補短，讓模型同時具備神經(jīng)網(wǎng)絡(luò)的泛化性能和路徑可解釋性，同時由于深度強(qiáng)化學(xué)習(xí)是一個序列過程，可以處理多跳推理的過程。
--
04
近期研究
1. 基于層次強(qiáng)化學(xué)習(xí)的知識圖譜推理
第一個進(jìn)行的工作就是基于層次強(qiáng)化學(xué)習(xí)的知識圖譜推理模型。
其研究的背景是解決知識圖譜多語義問題。以圖為例，將 FreeBase 知識圖譜中的實體用 TransE 進(jìn)行預(yù)訓(xùn)練，將相關(guān)聯(lián)的實體相減得到關(guān)系的表示，將表示進(jìn)行 PCA 降維可視化，可以看到關(guān)系具有多個語義簇，代表關(guān)系模型在預(yù)訓(xùn)練模型中出現(xiàn)的模式。多個語義簇會造成歧義的現(xiàn)象，造成推理準(zhǔn)確率下降。
如何解決知識圖譜推理多語義問題呢？結(jié)合近期神經(jīng)科學(xué)的發(fā)現(xiàn)，發(fā)表在 Science 上的文章表明人類或高級動物其決策的過程是一個分層推理的過程，是一個潛意識的過程，通過多次觀察、多次推理，逐步去消解多語義和歧義，來得到推理的結(jié)構(gòu)。分層決策的機(jī)制是認(rèn)知過程的核心機(jī)制，是該論文的結(jié)論。例如，人在識別一只金絲猴的過程中的一個潛意識過程是先識別是一個動物，是一個靈長目的動物，再識別它是一只金絲猴。這是一個從高水平到低水平、從概念上粗粒度到細(xì)粒度的過程，該過程就是一個分層的機(jī)制。
分層強(qiáng)化學(xué)習(xí)與傳統(tǒng)強(qiáng)化學(xué)習(xí)模型的區(qū)別是，分層強(qiáng)化學(xué)習(xí)將決策空間進(jìn)行了進(jìn)一步的結(jié)構(gòu)化，將問題分解為若干個子問題來進(jìn)行決策。分層強(qiáng)化學(xué)習(xí)更像人類思維，能夠提高知識推理的準(zhǔn)確度，解決多語義問題。
具體實現(xiàn)分層強(qiáng)化學(xué)習(xí)的方法是設(shè)計兩個互相嵌套的強(qiáng)化學(xué)習(xí)，一個是高層次的策略函數(shù)，一個是低層次策略函數(shù)。高層次策略控制知識圖譜實體間的狀態(tài)轉(zhuǎn)移，低層次策略控制語義簇之間的轉(zhuǎn)移，語義簇是用 TransE 的嵌入來構(gòu)建。
具體來講，高水平策略函數(shù)是一個基于 GRU 的可以保存歷史向量的策略函數(shù)，其獎賞函數(shù)是一個γ衰減的獎賞函數(shù)。低水平策略函數(shù)是一個將狀態(tài)空間層次化分解的過程，其獎賞函數(shù)是一個 0、1 獎賞。
其訓(xùn)練的目標(biāo)是使其獎賞最大化，利用梯度策略優(yōu)化來訓(xùn)練模型。由于該模型高水平策略和低水平策略互相嵌套的模型，使用交替固定優(yōu)化的方式，通過蒙特卡洛采樣軌跡的方式來訓(xùn)練推理模型。
使用的評價指標(biāo)是平均準(zhǔn)確率、平均排序分?jǐn)?shù)和 Hit@X。數(shù)據(jù)集是常識知識圖譜 FB15K、NELL995、WN18RR，其中 FB15K 的多語義現(xiàn)象比較嚴(yán)重。
進(jìn)行鏈接預(yù)測的實驗，圖為實體預(yù)測的實驗結(jié)果，可以發(fā)現(xiàn)模型在大部分?jǐn)?shù)據(jù)集上表現(xiàn)的都比較好，同時在多語義的數(shù)據(jù)集上表現(xiàn)的更好一點。
第二個是事實預(yù)測的實驗，給定兩個實體，預(yù)測它們之間是否存在某種關(guān)系，是一個二分類的問題，模型在 FB15K-237 上表現(xiàn)更好一些。
分層強(qiáng)化推理可以提供可解釋性的推理路徑，如圖，在推理過程中相比于 MINERVA可以提供更好的推理路徑。
小結(jié)：提出了一個分層強(qiáng)化學(xué)習(xí)的知識推理模型，這個模型模仿了人類的思維方法，這個模型可以學(xué)習(xí)到知識圖譜中關(guān)系的層次化語義簇，從而有助于解決推理過程的多語義問題。實驗表明，這個模型可以在標(biāo)準(zhǔn)的數(shù)據(jù)集上取得競爭性的結(jié)果，在多語義問題上表現(xiàn)更好。該工作發(fā)表于 2020 年 IJCAI 上。
2. 基于貝葉斯強(qiáng)化學(xué)習(xí)的知識圖譜推理
第二個是進(jìn)行的關(guān)于貝葉斯強(qiáng)化學(xué)習(xí)的知識圖譜推理模型。
研究發(fā)現(xiàn)，基于強(qiáng)化學(xué)習(xí)的知識圖譜推理很大的問題是：
利用貝葉斯強(qiáng)化學(xué)習(xí)工具來建模不確定性推理。假設(shè)參數(shù)服從某種概率分布，右圖顯示了貝葉斯學(xué)習(xí)的有點是可以表達(dá)不確定性。
利用貝葉斯強(qiáng)化學(xué)習(xí)其優(yōu)點是可以表達(dá)實體及關(guān)系的不確定性，這種不確定性有利于權(quán)衡探索-利用關(guān)系，通過隨機(jī)性可以引入正則項，來穩(wěn)定 Q 網(wǎng)絡(luò)/策略網(wǎng)絡(luò)的訓(xùn)練優(yōu)化，同時貝葉斯強(qiáng)化的機(jī)制可以利用知識的先驗分布。
其方法比較簡單，就是將知識圖譜中的實體和關(guān)系假設(shè)為高斯分布，通過設(shè)計合理的知識圖譜 Q 函數(shù)來進(jìn)行推理。
將知識圖譜推理定義成馬爾可夫決策過程，其環(huán)境是知識圖譜，狀態(tài)是實體在知識圖譜中所處的位置，動作是這個位置可能連接的實體集合，策略函數(shù)是基于最大 Q 值的執(zhí)行策略，獎賞函數(shù)是 0、1 獎賞。
Q 函數(shù)的定義就是一個狀態(tài)動作值的定義，在 St 是狀態(tài)時，對未來推理 Q 的獎賞的期望。直接求解 Q 函數(shù)通常比較困難，是通過神經(jīng)網(wǎng)絡(luò)進(jìn)行擬合。具體實現(xiàn)方式是通過 BayesianLSTM 來擬合 Q 函數(shù)的隱狀態(tài)，通過貝葉斯線性回歸網(wǎng)絡(luò)輸出 Q 值。
具體的執(zhí)行策略和優(yōu)化策略有兩種，是異策略的方式，即優(yōu)化策略與執(zhí)行策略函數(shù)不同。優(yōu)化策略是采取貪心策略，來保證訓(xùn)練的利用。執(zhí)行策略是通過 Tompson 采樣，通過 Q 值隨機(jī)化生成來保證環(huán)境的探索。
最后的目標(biāo)函數(shù)是最小化 Q 函數(shù)網(wǎng)絡(luò)的變分自由能，通過軌跡采樣方式來進(jìn)行優(yōu)化，采用蒙特卡洛梯度進(jìn)行近似優(yōu)化，具體實現(xiàn)是通過貝葉斯反向傳播的方法來訓(xùn)練貝葉斯神經(jīng)網(wǎng)絡(luò)。
在知識圖譜進(jìn)行的實驗，圖為事實預(yù)測的實驗結(jié)果，是一個二分類預(yù)測，給定兩個實體預(yù)測其關(guān)系的實驗。可以發(fā)現(xiàn)模型在 NELL995 上大部分取得了比較好的領(lǐng)先。
實體預(yù)測的實驗，可以發(fā)現(xiàn)模型可以取得較優(yōu)的結(jié)果。
在小規(guī)模知識圖譜上的鏈接預(yù)測實驗，在小規(guī)模知識圖譜,上的實驗將最大推理長度設(shè)定為 2，設(shè)定為單步推理，也取得了一定的效果。
貝葉斯強(qiáng)化學(xué)習(xí)模型，沒有采用隨機(jī)分布的方式，與 MINERVA 進(jìn)行對比，可以發(fā)現(xiàn)貝葉斯強(qiáng)化學(xué)習(xí)模型收斂的更快一些，可以引入先驗分布，通過對實體的高斯分布的預(yù)訓(xùn)練，葉斯強(qiáng)化學(xué)習(xí)模型收斂的結(jié)果更好一些。
對推理的過程進(jìn)行箱式圖可視化，如圖示例中，推理阿根廷是在哪里的？可以不確定性推理，實現(xiàn) Q 值分布的不確定性，來實現(xiàn)不確定性推理。
圖為 GaussianPath 模型在推理過程中產(chǎn)生了一些可解釋性的推理路徑。
小結(jié)：提出一個貝葉斯強(qiáng)化學(xué)習(xí)的知識推理模型，該模型可以表達(dá)多跳推理路徑的不確定性；該模型可以利用貝葉斯網(wǎng)絡(luò)的特性引入先驗知識從而加速及穩(wěn)定強(qiáng)化學(xué)習(xí)的網(wǎng)路訓(xùn)練。實驗表明，該模型可以在標(biāo)準(zhǔn)的數(shù)據(jù)集上取得競爭性的結(jié)果。該工作發(fā)表于 2021 年 AAAI 上。
3. 異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘
第三個工作是基于強(qiáng)化學(xué)習(xí)的知識圖譜推理的應(yīng)用，就是在異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘。
異質(zhì)信息網(wǎng)絡(luò)是指圖上的節(jié)點、關(guān)系的種類大于 1 的網(wǎng)絡(luò)，其定義比知識圖譜更加廣泛。常見的異質(zhì)信息網(wǎng)絡(luò)有電影網(wǎng)絡(luò)、引用網(wǎng)絡(luò)、知識圖譜等。
元路徑是異質(zhì)信息網(wǎng)路上非常常用的手段，是實體關(guān)系的序列，可以表達(dá)實體之間的語義特征，如，“APA”可以刻畫共同發(fā)表的關(guān)系，“APVPA”可以刻畫同一個課題組的關(guān)系。其在圖數(shù)據(jù)挖掘中產(chǎn)生了一系列非常經(jīng)典的工作。
元路徑（Meta Path）應(yīng)用非常廣泛，在信息檢索、數(shù)據(jù)挖掘、推薦系統(tǒng)中廣泛應(yīng)用。
元路徑優(yōu)點是，語義表達(dá)準(zhǔn)確，效率較高，含有圖的結(jié)構(gòu)特征，可解釋性好。缺點是，需要人工設(shè)計，人工構(gòu)造 Meta Path，是非端到端的方法，對于長序列元路徑設(shè)計比較困難。
自動得到元路徑的方法是基于貪婪樹的方法、K-最短路徑、圖遍歷的方式得到 Meta Path。其存在的問題是在離散空間計算，搜索空間比較大。我們研究的異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘模型，利用強(qiáng)化學(xué)習(xí)，在推理過程中得到推理路徑模式，來得到元路徑。
異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘方法，在 HIN 上利用強(qiáng)化學(xué)習(xí)進(jìn)行多跳推理，得到路徑實例；在類型有向圖上進(jìn)行規(guī)約，得到元路徑。
該工作強(qiáng)化學(xué)習(xí)的框架，與前面兩個工作類似，就是在狀態(tài)、動作設(shè)定上略有不同。在狀態(tài)上加入了 vd 實體的元組；在動作上，是實體在異質(zhì)信息網(wǎng)絡(luò)的停留，其動作空間就是與其連接的邊和實體；獎賞是基于 γ 的衰減的獎賞函數(shù)。
知識圖譜的規(guī)模通常很大，是百萬級別的實體及事實，直接給每個實體分配表向量通常會消耗非常大的存儲資源和計算資源。這項工作提出一種基于類型上下文表示的方式，通過將類型向量平均來表示實體，有效減少實體向量存儲的問題。
具體路徑實例規(guī)約方法是基于最低祖先方法，通過在類型圖上進(jìn)行根節(jié)點的搜索得到元路徑。如，實體類型的 DAG 如圖，通過最低祖先搜索的方法得到其是 Person 的類型，最后得到類型及類型的組合，得到元路徑。
實驗部分采用挖掘得到的元路徑進(jìn)行鏈接預(yù)測。采用的數(shù)據(jù)集是 Yago 和 NELL，即大規(guī)模異質(zhì)信息網(wǎng)絡(luò)或知識圖譜。Yago 和 NELL 具有上百萬的實體，Yago 中具有 80 多萬個類型；NELL 具有 700 多個類型。與 KG 的區(qū)別是具有大量的類型信息。
根據(jù)鏈接預(yù)測的實驗，可以發(fā)現(xiàn)通過強(qiáng)化學(xué)習(xí)挖掘得到的路徑，盡管其是一個比較簡單的路徑特征的線性回歸，都可以取得比較好的效果。
同時，可以通過強(qiáng)化學(xué)習(xí)推理的回歸的 Weight 獲得元路徑的權(quán)重，如，在 Yago 數(shù)據(jù)集中表示公民的關(guān)系，可以由 Person BorIn Country、Person BorIn District LocatedIn Country 主要刻畫 isCitizenOf 的關(guān)系。該模型可以獲得不同權(quán)重的元路徑，也可以挖掘得到較長長度的元路徑，還可以通過元路徑的比較發(fā)現(xiàn)同義的元路徑。
小結(jié)：提出一個強(qiáng)化學(xué)習(xí)的模型，該模型可以在大規(guī)模異質(zhì)信息網(wǎng)絡(luò)上挖掘元路徑，利用上下文表示可以大大緩解異質(zhì)信息網(wǎng)絡(luò)的規(guī)模性問題。實驗表明，即使利用簡單的線性回歸，挖掘得到的元路徑也可以在大規(guī)模異質(zhì)信息網(wǎng)絡(luò)表現(xiàn)較好。表明異質(zhì)信息網(wǎng)絡(luò)核心的限制就是元路徑的質(zhì)量。該工作發(fā)表于 2020 年 AAAI 上。
--
05
總結(jié)和展望
--
06
Q&A 問答環(huán)節(jié)
Q：如何評估生成解釋的可理解能力？
A：解釋的可解釋能力，一般在事后可解釋性比較多，如可信度等。在這里研究工作中，更多是事前可解釋性的方法。具體可解釋性的能力是比較主觀的，現(xiàn)有的評估可解釋性的方法更多的用于事后可解釋性。
今天的分享就到這里，謝謝大家。
｜分享嘉賓｜
萬國佳
武漢大學(xué) 計算機(jī)學(xué)院 博士后
武漢大學(xué)計算機(jī)學(xué)院博士后，目前感興趣的研究方向為知識圖譜推理、圖神經(jīng)網(wǎng)絡(luò)等在，在AAAI，IJCAI，WWWJ等期刊會議上發(fā)表論文6篇。
｜DataFun新媒體矩陣｜
｜關(guān)于DataFun｜
專注于大數(shù)據(jù)、人工智能技術(shù)應(yīng)用的分享與交流。發(fā)起于2017年，在北京、上海、深圳、杭州等城市舉辦超過100 線下和100 線上沙龍、論壇及峰會，已邀請超過2000位專家和學(xué)者參與分享。其公眾號 DataFunTalk 累計生產(chǎn)原創(chuàng)文章800 ，百萬 閱讀，15萬 精準(zhǔn)粉絲。
聯(lián)系客服
