前面提到說(shuō)用通義千問(wèn)讀取Fluent UDF文檔，然后輔助我們進(jìn)行UFD代碼編寫(xiě)。后臺(tái)有小伙伴說(shuō)不讀文檔也能寫(xiě)，但我覺(jué)得這牛皮點(diǎn)兒吹過(guò)頭了。就我個(gè)人的體驗(yàn)，目前除了GPT-4之外，很少有大模型能夠一次性直接寫(xiě)出正確的UDF代碼（Claude 2有時(shí)候能寫(xiě)對(duì)，但大多數(shù)寫(xiě)錯(cuò)，Claude 3目前還未嘗試），國(guó)內(nèi)大模型更是如此。下面來(lái)簡(jiǎn)單測(cè)試一下。
我們以最簡(jiǎn)單的需求進(jìn)行嘗試。比如寫(xiě)一個(gè)隨時(shí)間變化的速度入口邊界條件。以下測(cè)試全部使用統(tǒng)一的提示詞：
利用Fluent UDF寫(xiě)一個(gè)隨時(shí)間變化的速度入口。
”
1、Copilot
微軟Copilot本身使用的是GPT-4。
如圖所示，Copilot給出了正確的示例。
2、GPT-4
這里使用Coze提供的GPT-4(8K)模型。
可以看到GPT-4給出了正確的示例。
3、Claude 3
這里使用lmsys提供的claude 3。
從圖中可以看出，Claude 3的sonnet與opus版本都能給出了正確的示例。而且opus版本的答案解釋得極為詳細(xì)。
4、Gemini 1.0
由于目前我這里只能使用Gemini 1.0，所以只能先看看Gemini 1.0的效果了。
完全是胡言亂語(yǔ)。由于無(wú)法使用最新版的Gemini 1.5，所以無(wú)從得知最新版的效果如何。
下面來(lái)看看國(guó)內(nèi)的大模型。
5、通義千問(wèn)
下面是通義千問(wèn)。
完全不忍直視，通義千問(wèn)似乎不知道啥叫Fluent UDF。這下道友們知道為啥要讀入Fluent UDF文檔之后再問(wèn)了吧。
6、智譜清言
來(lái)看看智譜清言。
最新版GLM-4給出了正確示例，表現(xiàn)還不錯(cuò)。順手試了一下GLM-3則不行。
7、訊飛星火
星火前陣子才更新了3.5版本，來(lái)看看表現(xiàn)如何。
星火裝出一副很懂的樣子，但其實(shí)是不懂裝懂。
8、Kimi
來(lái)看看最近廣告打的挺響的kimi。
寫(xiě)了一堆屎山代碼，完全是在胡言亂語(yǔ)。
9、文心一言
文心4.0要交錢，對(duì)于這種低頻使用，而且還有大量免費(fèi)可替代產(chǎn)品的工具，實(shí)在打不起充值的興趣，現(xiàn)在只能使用3.5版本。
這個(gè)3.5版本給出的示例是正確的。我突然又想氪金試試4.0版本了。
10、讀了UDF文檔后的通義千問(wèn)
不是其他的模型不想讀，奈何實(shí)力不允許啊。目前除了通義千問(wèn)外，其他模型都無(wú)法一次性讀入Fluent UDF文檔并完成解析。其中kimi可以讀入，但解析不了（提示文件長(zhǎng)度超標(biāo)），其他模型都無(wú)法讀入。
雖然代碼不太優(yōu)雅，但給出的示例是正確的。
這就是為什么要讓大模型讀文檔的原因了。這就好比考試一樣，學(xué)霸閉卷就能考不錯(cuò)的分?jǐn)?shù)，學(xué)渣開(kāi)卷翻書(shū)也湊合著考個(gè)及格吧。希望國(guó)內(nèi)的大模型也能越來(lái)越聰明，有朝一日也能閉卷考個(gè)不錯(cuò)的成績(jī)。
注：以上只是簡(jiǎn)單的測(cè)試，實(shí)際上對(duì)于復(fù)雜的問(wèn)題，任何AI大模型都難以解決，還是得靠人腦來(lái)掌舵。不過(guò)到目前為止，微軟Copilot還是比較穩(wěn)的，無(wú)論是從訪問(wèn)方便性還是輸出穩(wěn)定性上。
”
（完）
聯(lián)系客服
