AI幫忙填高考志愿靠譜嗎?實(shí)測(cè)百度、騰訊、阿里、智譜等9款產(chǎn)品

王俊 王峰2024-07-09 22:01

高考志愿填報(bào)還在火熱進(jìn)行中。今年,AI大模型志愿填報(bào)成為亮點(diǎn)。

志愿填報(bào)是高考后的關(guān)鍵環(huán)節(jié),像山東、貴州等省份實(shí)施新高考后需要填寫 96個(gè)志愿,提高了信息獲取的要求和難度。

AI具有推理優(yōu)勢(shì),近年來已經(jīng)有不少公司在推出AI填報(bào)志愿。尤其是隨著大模型的崛起,不少大模型產(chǎn)品也相繼入局。

但是,這些產(chǎn)品性能如何,給出的志愿推薦是否具有參考性,誤差有多大?

21世紀(jì)經(jīng)濟(jì)報(bào)道記者測(cè)評(píng)了夸克、文心一言、百度AI志愿助手、騰訊元寶、天工AI、通義千問、智譜清言、靠譜AI、作業(yè)幫9款產(chǎn)品,結(jié)果發(fā)現(xiàn)均存在一定問題,尤其是文心一言、騰訊元寶、天工AI、通義千問、智譜清言等大模型產(chǎn)品,誤差率高。

測(cè)評(píng)發(fā)現(xiàn)問題包括:

1、上述提及的大模型產(chǎn)品推薦誤差率高。志愿推薦的“沖、穩(wěn)、?!比齻€(gè)檔次準(zhǔn)確率低,存在“沖”的學(xué)校歷年分?jǐn)?shù)線低于“保”底學(xué)校。通義千問、智譜清言甚至出現(xiàn)給黑龍江省內(nèi)排名4000左右的學(xué)生推薦沖刺清華、北大的建議給山東排名64000名的學(xué)生推薦沖刺北京航空航天大學(xué)的建議。

2、底層數(shù)據(jù)缺失,即時(shí)數(shù)據(jù)更新不及時(shí),一些推薦學(xué)校在該省份并無招生計(jì)劃。

3、個(gè)性化推薦不夠智能,選擇志愿目標(biāo)城市為北京,但文心一言、智譜清言等產(chǎn)品中出現(xiàn)多個(gè)學(xué)校并非北京高校。

根據(jù)艾媒咨詢數(shù)據(jù),2023年中國(guó)高考志愿填報(bào)市場(chǎng)付費(fèi)規(guī)模為9.5億元,近九成高考生愿意選擇高考志愿填報(bào)服務(wù),市場(chǎng)規(guī)模持續(xù)增加。AI產(chǎn)品想要吃下市場(chǎng)紅利,目前的產(chǎn)品能力仍有較大不足。 

大模型產(chǎn)品誤差率過大 排名4千名考生推薦沖擊清北 

此次測(cè)評(píng)的產(chǎn)品分別為:夸克、百度文心一言、百度AI志愿助手、騰訊元寶、天工AI、通義千問、智譜清言、靠譜AI、作業(yè)幫。上述測(cè)評(píng)產(chǎn)品主要是在應(yīng)用商店、網(wǎng)頁、小程序等搜索AI志愿,彈出的排名靠前的產(chǎn)品。

為了客觀、準(zhǔn)確反應(yīng)AI產(chǎn)品志愿填報(bào)的能力與精準(zhǔn)度,21世紀(jì)經(jīng)濟(jì)報(bào)道記者分別用不同省份、高分段與中分段進(jìn)行了測(cè)評(píng),并且進(jìn)行了二輪交叉檢驗(yàn)。

測(cè)評(píng)首先設(shè)計(jì)了兩個(gè)測(cè)評(píng)人設(shè):

1)黑龍江考生,628分,排名,選科為物理、化學(xué)、生物,目標(biāo)城市北京,想選擇人工智能相關(guān)領(lǐng)域?qū)I(yè)。

2)山東考生,考分558分,排名約64000,對(duì)城市與學(xué)校沒有相關(guān)要求,專業(yè)覆蓋人工智能、航空航天。

在一款產(chǎn)品的“智能填報(bào)”頁面上,輸入高考總分、選科等基本信息,系統(tǒng)會(huì)推薦“沖、穩(wěn)、?!比N不同風(fēng)險(xiǎn)類型的志愿和錄取概率預(yù)測(cè)。

進(jìn)一步按照院校優(yōu)先、專業(yè)優(yōu)先、職業(yè)優(yōu)先等篩選條件來縮小選擇范圍。

測(cè)評(píng)的9款A(yù)I志愿填報(bào)產(chǎn)品中,主要分為兩種類型:一種為在線“志愿一鍵填報(bào)”,主要應(yīng)用是大數(shù)據(jù)技術(shù),考生輸入相關(guān)信息,系統(tǒng)根據(jù)各院校專業(yè)往年的錄取分?jǐn)?shù)、位次進(jìn)行匹配,自動(dòng)生成填報(bào)建議,包括按照“沖”“穩(wěn)”“?!苯o出不同層次的推薦結(jié)果,包括各專業(yè)最近幾年的錄取最低分、最低位次、招生計(jì)劃,以及預(yù)估的錄取概率等。夸克、作業(yè)幫主要是這一類型。 

另外一種則為大模型產(chǎn)品,用戶與大模型對(duì)話,得到更充分的填報(bào)建議,也有志愿表格推薦等形式,文心一言、騰訊元寶、通義千問、天工AI等屬于該類型。靠譜AI兩種形式皆有。

記者根據(jù)歷年分?jǐn)?shù)線、排名、招生計(jì)劃,對(duì)上述9款產(chǎn)品所推薦的結(jié)果進(jìn)行判斷,整體來看,AI大模型給出的推薦結(jié)果靠譜程度低于傳統(tǒng)AI的志愿填報(bào)系統(tǒng)。

以黑龍江高分段考生為例,測(cè)評(píng)結(jié)果顯示,百度的文心一言,它推薦的沖刺類型學(xué)校為上海交通大學(xué)和中國(guó)科學(xué)院大學(xué),上海交通大學(xué)是上海的學(xué)校,其不符合測(cè)評(píng)考生的目標(biāo)城市北京,并且,根據(jù)2024年中國(guó)科學(xué)院大學(xué)的本科招生分省分專業(yè)計(jì)劃表中,中國(guó)科學(xué)院大學(xué)沒有黑龍江招生計(jì)劃。推薦的“穩(wěn)”學(xué)校為北航、北郵和華科往年錄取學(xué)生排名大概在1000、2000以內(nèi),而測(cè)評(píng)考生排名4千名左右,“穩(wěn)”和“?!彪y度較大。

通義千問和智譜清言則將清華和北大作為測(cè)評(píng)考生的沖刺學(xué)校,作為排名4千多名的考生,這兩所學(xué)校沖刺的可能性極低,誤差較大。

夸克、靠譜AI和作業(yè)幫這四款產(chǎn)品也存在一定誤差,比如夸克推薦保底的學(xué)校北京師范大學(xué),歷年在黑龍江的錄取排名大概在三千名,也并非完全可以“保”的學(xué)校。不過整體來看,傳統(tǒng)AI志愿填報(bào)產(chǎn)品誤差率小于大模型產(chǎn)品。

再來看中分段的推薦結(jié)果,大模型產(chǎn)品誤差仍較大。

文心一言推薦結(jié)果不穩(wěn)定,用同樣的考生條件多次提問,給出的答案大有不同,甚至?xí)霈F(xiàn)同樣的學(xué)校專業(yè)推薦出現(xiàn)在不同檔次的填報(bào)中的情況。

同時(shí),文心一言、騰訊元寶、天工AI、通義千問給出的志愿填報(bào)推薦參考價(jià)值不高,對(duì)于排名64000名的考生卻推薦要求排名在5000名及以內(nèi)的學(xué)校,出現(xiàn)了985院校作為保底志愿填報(bào)進(jìn)行推薦的情況,比如文心一言和智譜清言推薦排名64000名的考生沖刺北京航空航天大學(xué),通義千問則在“?!钡耐扑]中出現(xiàn)了北京航空航天大學(xué)。

大模型產(chǎn)品往往給出的推薦建議沒有以往名次與分?jǐn)?shù)線提供參考,而是與提問中的專業(yè)等關(guān)鍵詞更加貼近,這也與大模型的屬性有關(guān)。

AI志愿填報(bào) 仍有較大不足

在互動(dòng)性方面, AI大模型產(chǎn)品的互動(dòng)性更強(qiáng),不僅局限于簡(jiǎn)單的一問一答模式,還會(huì)根據(jù)用戶的指令智能調(diào)節(jié)后續(xù)問題的深度和廣度,比如在高考志愿填報(bào)的背景下,它們一般會(huì)就模型推薦的填報(bào)志愿學(xué)校、專業(yè)的具體情況和就業(yè)前景等提供進(jìn)一步的咨詢服務(wù),文心一言、騰訊元寶、天工AI、通義千問和智譜清言都會(huì)在回復(fù)下面提示,“你可以繼續(xù)問我:上海交通大學(xué)近幾年的分?jǐn)?shù)線是多少呢,北京有哪些好大學(xué)等問題”。夸克、靠譜AI和作業(yè)幫等傳統(tǒng)AI的志愿填報(bào)系統(tǒng)互動(dòng)性不夠,與產(chǎn)品定位重點(diǎn)不同有關(guān)。

測(cè)評(píng)的志愿填報(bào)產(chǎn)品中,大部分沒有廣告與后續(xù)付費(fèi)要求??淇?、文心一言、AI志愿助手、通義千問、智譜測(cè)評(píng)中未發(fā)現(xiàn)廣告與后續(xù)付費(fèi)情況。天工AI需要分享才能查看志愿詳情,靠譜AI則會(huì)限制每個(gè)用戶免費(fèi)使用的次數(shù),同時(shí),若想進(jìn)一步獲得更多消息也需要付費(fèi)升級(jí)會(huì)員。

2014年以來,全國(guó)共有29個(gè)省份分五批啟動(dòng)了高考改革。新高考模式下,報(bào)志愿的難度提升,高考志愿填報(bào)成了一門熱門生意,“錢景”廣闊。

AI志愿填報(bào)近年來“水漲船高”,大模型的快速迭代,性能提升,成為今年志愿填報(bào)市場(chǎng)一股新增量。

大模型產(chǎn)品互動(dòng)性更強(qiáng),人機(jī)對(duì)話形式降低了志愿填報(bào)產(chǎn)品的使用門檻,可以用聊天的方式獲取信息和建議。并且測(cè)評(píng)顯示,互動(dòng)過程中,不少產(chǎn)品也能抓取更有針對(duì)性的資料給到用戶。

但是,大模型產(chǎn)品對(duì)數(shù)據(jù)有強(qiáng)依賴性,底層數(shù)據(jù)的缺失或是測(cè)評(píng)中大模型產(chǎn)品志愿推薦不靠譜的主因之一。

中國(guó)教育科學(xué)研究院研究員儲(chǔ)朝暉在此前接受21世紀(jì)經(jīng)濟(jì)報(bào)道采訪時(shí)表示,目前考生填報(bào)志愿存在幾個(gè)難點(diǎn),第一個(gè)是高校的招生簡(jiǎn)章當(dāng)中沒有準(zhǔn)確表述招生訴求,第二個(gè)是高校公開的數(shù)據(jù)的質(zhì)量、標(biāo)準(zhǔn)不一樣,比如不同學(xué)校的同一個(gè)專業(yè),內(nèi)涵是有差異的。

此外,最關(guān)鍵的是,有些院校專業(yè)并未及時(shí)公布最近的錄取分?jǐn)?shù)線、錄取位次等數(shù)據(jù)。

一位高考志愿填報(bào)產(chǎn)品負(fù)責(zé)人告訴21世紀(jì)經(jīng)濟(jì)報(bào)道,基礎(chǔ)數(shù)據(jù)的準(zhǔn)確和全面,是他們每年花最多精力來打造的事情,要?jiǎng)佑蒙习偃说娜斯?biāo)注團(tuán)隊(duì)來處理數(shù)據(jù)。

缺乏對(duì)院校專業(yè)權(quán)威的評(píng)估體系和評(píng)估數(shù)據(jù),大模型志愿填報(bào)精確性難以提升。從測(cè)評(píng)結(jié)果來看,想要真正在志愿填報(bào)的紅海中立足,大模型還有一段距離要走。

轉(zhuǎn)載來源:21世紀(jì)經(jīng)濟(jì)報(bào)道 作者: 王俊 王峰 實(shí)習(xí)生 劉欣、朱奕潼

版權(quán)與免責(zé):以上作品(包括文、圖、音視頻)版權(quán)歸發(fā)布者【王俊 王峰】所有。本App為發(fā)布者提供信息發(fā)布平臺(tái)服務(wù),不代表經(jīng)觀的觀點(diǎn)和構(gòu)成投資等建議

熱新聞