國內(nèi)的大模型還在路上，需要給他們成長的時間。

來源|多知網(wǎng)

作者 |王上

(資料圖片僅供參考)

圖片來源 | 言之畫

比爾 · 蓋茨上周二在圣地亞哥舉行的 ASU+GSV 峰會上發(fā)表主旨演講時表示："AI 聊天機(jī)器人將 18 個月內(nèi)，可以做到教孩子閱讀，輔導(dǎo)家庭作業(yè)。"

今年 3 月和 4 月，百度和阿里巴巴分別推出了自己的大模型。目前來看，百度的文心一言和阿里的通義千問均可以多輪對話、文本創(chuàng)作等。

未來，大模型將會朝著多模態(tài) ( 文本、圖像、視頻、音頻等 ) 繼續(xù)發(fā)展，也將越來越逼近人類的智慧。

在不少專家學(xué)者看來，如果大模型足夠成熟，將改變教育體系的核心要素，包括教育目標(biāo)、知識獲取方式等。所以，這波 AI 技術(shù)的爆發(fā)非常值得教育領(lǐng)域關(guān)注。

那么現(xiàn)在，各家的大模型進(jìn)展到什么程度了？是否可以在學(xué)習(xí)或者教育領(lǐng)域直接利用呢？我們讓百度的文心一言和阿里的通義千問 PK 了一下。

我們讓文心一言和通義千問在高中英語翻譯、初中數(shù)學(xué)題目、高中中文寫作、代碼生成、青少年心理輔導(dǎo)方向各出了一道題目，雙方針對所有問題各自回答一遍，這樣就總共是 10 道題目。

通過評測，我們看到了大模型在學(xué)習(xí)或教育類的問題上暫未成熟，尤其是數(shù)學(xué)這樣要求精準(zhǔn)的科目上，仍然需要繼續(xù)訓(xùn)練。不過，我們依然看好大模型的未來，他們在教育領(lǐng)域的應(yīng)用也是必然。

01

" 作為出卷人 "：題目正常、不算偏怪難

萬萬沒想到，在出題上雙方就迥然不同。以下是雙方給出的題目：

點評：文心一言每道給出了 A、B 兩套題，通義千問按要求給出了 5 道題。我們給了文心一言兩次機(jī)會，它依然出了 "A、B 卷 "，有些看不懂 [ 撓頭 ] ……我們最后從每道題中選擇了一道題，除了第 4 題外，其他題目都選擇了 A 題目。

對于這 5 道題目，通義千問看起來更靈活，也更有針對性，更像一個 " 出卷人 "。比如，第 3 題，出一道作文題目，跟通義千問的題目就非常像高考熱門命題方向，是跟科技與人文相關(guān)的。從出題難度上來看，雙方出的都比較偏簡單。比如翻譯題目，雙方出的題目看起來都不像高中的英語題目。

來看他們下面的作答情況——

02

翻譯題目

第一題英文翻譯，文心一言的題目，是讓把英文翻譯成漢語：

點評：這個題目兩個都翻譯的大同小異，通義千問的會更具體。可能因為題目是文心一言出的，所以它直接翻譯成了漢語。而通義千問會問是 " 翻譯成哪門語言 "，考慮得更周到一些。

來看通義千問出的這道翻譯題目：

點評：文心一言翻譯的是 " 請問我怎么讀這個詞？" ，通義千問翻譯的是 " 你能告訴我這個詞是什么意思嗎？" 文心一言的翻譯更準(zhǔn)確一些。通義千問自己出的題卻沒有答好，有點匪夷所思。

要么跟通義千問換一個問法吧，回答如下：

越來越離譜了。。

通義千問多輪對話的能力堪憂……

03

數(shù)學(xué)題目

來看初中的數(shù)學(xué)題：

點評：又一次匪夷所思，這次輪到文心一言出的題目自己也做錯了。這道題目是分?jǐn)?shù)相乘的結(jié)果，文心一言理解成了除法。即便理解成除法，最后也不應(yīng)該等于 6。不知道這個結(jié)果怎么來的，迷之尷尬。通義千問理解對了，最后是 1/8，即 0.125，這是一個確定的值，不明白為什么最后它寫的是 " 約等于 " 號，不知道是因為不自信，還是因為馬虎寫錯了？

這次二者相同的地方在：都沒有給出解題步驟，也沒有給出解釋。

通義千問出的初中數(shù)學(xué)題目：

點評：讓文心一言回答了兩次，都是 x:9，y:0，文心一言可能連正三角形是什么都不知道。這個題目通義千問回答地非常清楚，給出了完整的解題過程，結(jié)果也是對的。

有點不死心，再次問了文心一言：

我們發(fā)現(xiàn)，文心一言其實知道正三角形是什么，但是，它就是解不對題目，第三遍依然錯誤。

還是不甘心，繼續(xù)跟文心一言對話，想著讓它讓畫一個正三角形的圖吧，如下：

這……好吧 o ( ╥﹏╥ ) o，文生圖的能力還得加油啊 ~~

04

寫作題目

來看文心一言出的寫作題目，雙方的作答情況：

點評：從題目來說，這道題讓人想到央視 2012 年的采訪，" 你幸福嗎？" 這道題目看似簡單，實則有一定難度，很容易落入俗套，很難脫穎而出。

再看兩者的小作文，第一句話居然神同步了。從內(nèi)容來看，二者結(jié)構(gòu)也基本相同，均是從各個角度闡述 " 幸福 "，不過，文心一言更偏重個人層面的感受，而通義千問涉及到社會層面以及與他人的關(guān)系。整體來看，不分伯仲。大家覺得呢？

來看通義千問出的作文題目，雙方的作答情況：

點評：從題目來看，通義千問出的這個題目非常像高考作文，很有出卷人的視角，是科技創(chuàng)新的方向。

對于兩者的寫作，文心一言對這道題目似乎有很多思考，但直接按框架寫作的，有點像論文，讀起來有些生硬。通義千問的這篇雖然篇幅不長，但看起來更像一篇議論文。

05

代碼生成

來看代碼生成的相關(guān)題目：

點評：文科生表示看不懂，拉來一名程序員幫忙看了看，他表示：" 核心段是一樣的，不過，文心一言沒有聲明變量。" 懂編程的老師們可以留言點評一下 ~~

再來看通義千問出的這道代碼生成題目，二者作答情況：

點評：同樣來自程序員的評價：" 這兩個對題目的理解都不一樣，所以寫的也不一樣。文心一言的是生產(chǎn)隨機(jī)字符串，26 個字母隨意拼；通義千問的是隨機(jī)的英文單詞，我感覺這個更切合題目。"

06

心理輔導(dǎo)

最后是心理輔導(dǎo)方面的題目，文心一言出的題目，看看雙方的作答：

點評：從題目來看，文心一言出的這個題目比較寬泛，比如情緒有很多種，是什么樣的情緒呢？文心一言并沒有說明白。在作答方面，二者在心理方面的輔導(dǎo)大同小異，且都是列點式的回答。兩個都給出了管理情緒的具體方法，比如都提到了冥想。

最后一道題目，由通義千問提出的問題，看看雙方的解答：

點評：首先先看題目，通義千問的問題非常具體，很有針對性。再看作答，兩者給出的心理解決方案都非常具體，文心一言還給出了 " 焦慮和壓力 " 形成的原因。二者給出了不同的心理輔導(dǎo)方案，通義千問的會更多元一些。相同的是：二者都提到了學(xué)會調(diào)節(jié)情緒，還都提供了相應(yīng)的理論參考。

07

總結(jié)

在出題方面，通義千問像一個出題高手，針對性較強，文心一言出了 A、B 兩套題，可能想提供更多的方案，但有的題目比較寬泛。

針對題目解答，在翻譯類題目上，二者不相上下，文心一言可能略勝一籌。

在數(shù)學(xué)類題目上，看起來通義千問更好一些，有的還給出了清晰的解題過程，文心一言還需要提升。

在作文題目上，二者各有千秋，但都還是有機(jī)器回答的痕跡。

在代碼生成題目上，都有這方面的能力，可能文心一言需要更理解題目。

在心理輔導(dǎo)方面，二者都比較詳盡，對學(xué)生和家長來說有一定的指導(dǎo)意義。

從整體作答風(fēng)格來看，文心一言偏穩(wěn)重，通義千問更靈活一點。

從答題速度上來看，通義千問的速度更快一些。比如先給文心一言輸入問題，再給通義千問輸入問題，最后先作答結(jié)束的是通義千問，文心一言似乎會有一個 " 思考 " 的過程。

從多輪對話能力來看，兩者都有一定的多輪對話能力，都可能會根據(jù)反復(fù)對話有所校正，文心一言可能略好點，通義千問有時候比較瘋魔。

文生圖方面，文心一言還需要提升，差距比較大，通義千問還沒有上線文生圖。

這次評測的均為學(xué)習(xí)或教育方面的問題，題目不多，或許評測有偏頗。整體而言，完全用我們目前的大模型來輔導(dǎo)學(xué)習(xí)，尚存距離。國內(nèi)的大模型還在路上，需要給他們成長的時間。正如 ChatGPT 一樣，它也經(jīng)歷了從胡亂解題，到逐漸靠近正確答案，尤其是 GPT-4，在專業(yè)和學(xué)術(shù)上接近人類水平。

蓋茨說 "AI 聊天機(jī)器人將 18 個月內(nèi)可以輔導(dǎo)作業(yè) "，指的應(yīng)該是國外的大模型，國內(nèi)的或許還需要更長時間。

END

本文作者：王上