新V觀海外:AI學(xué)術(shù)評(píng)審啟發(fā)對(duì)未來(lái)研究思考

陳沛2024-06-04 14:01

陳沛/文 AI近來(lái)在學(xué)術(shù)研究領(lǐng)域的應(yīng)用進(jìn)展很快。除了用AI寫論文,最近還出現(xiàn)了用AI輔助評(píng)審論文的研究分析。

AI評(píng)審論文更傾向于打高分

瑞士洛桑聯(lián)邦理工學(xué)院近期發(fā)表了一篇研究成果,他們分析了今年國(guó)際頂級(jí)AI學(xué)術(shù)會(huì)議ICLR 2024(2024年國(guó)際學(xué)習(xí)表征會(huì)議)上的28028篇論文評(píng)審意見(jiàn),指出至少有4428篇評(píng)審意見(jiàn)是用AI工具輔助給出的,AI審稿比例達(dá)到15.8%。

除了提供評(píng)審意見(jiàn),審稿人還要對(duì)AI論文按照1至10分打分,高分表示該論文會(huì)被大會(huì)接受,低分則表示拒絕。

上述研究還發(fā)現(xiàn),AI在審稿得分上更傾向于給出高分。尤其是對(duì)那些得到5分或6分、處在是否被會(huì)議接受邊緣的論文,AI輔助審稿給出的接受率要比人類審稿高出4.9個(gè)百分點(diǎn)。

使用AI進(jìn)行學(xué)術(shù)評(píng)價(jià)還為時(shí)尚早

由于AI在研究者中得到越來(lái)越多應(yīng)用,因此學(xué)術(shù)評(píng)價(jià)中非常關(guān)注如何識(shí)別論文中的AI生成內(nèi)容。

例如上述瑞士洛桑聯(lián)邦理工學(xué)院的研究中,就是基于AI生成內(nèi)容識(shí)別工具GPTzero,再結(jié)合分類評(píng)審、校正假陽(yáng)性率、結(jié)果驗(yàn)證等方法,綜合得出結(jié)果。

不過(guò)與AI審稿傾向于打高分的情況相反,如果直接使用GPTzero進(jìn)行學(xué)術(shù)查重,則有可能產(chǎn)生更多誤傷。曾有實(shí)驗(yàn)測(cè)試將美國(guó)憲法原文輸入GPTzero,也會(huì)被判定成是AI生成的內(nèi)容。而在技術(shù)原理上也確實(shí)難以完全識(shí)別出AI生成內(nèi)容。

因此,不僅在學(xué)術(shù)評(píng)價(jià)領(lǐng)域,還有在法律、經(jīng)濟(jì)等生成結(jié)果會(huì)對(duì)現(xiàn)實(shí)社會(huì)造成重要影響的領(lǐng)域,應(yīng)用AI的過(guò)程都需要慎之又慎。

AI應(yīng)用對(duì)未來(lái)研究本質(zhì)的思考

雖然AI用于學(xué)術(shù)領(lǐng)域的效果還有待完善,但是必須承認(rèn)AI進(jìn)入日常學(xué)術(shù)研究中的普及趨勢(shì)已不可避免。

不僅有越來(lái)越多的研究者在應(yīng)用AI工具比較論文、生成摘要、分析數(shù)據(jù)以及潤(rùn)色內(nèi)容,而且評(píng)審者也開(kāi)始使用AI工具加快審稿流程,共同促進(jìn)研究創(chuàng)新持續(xù)提速。

毫無(wú)疑問(wèn),在AI工具的幫助下,人類分析、總結(jié)、對(duì)比各領(lǐng)域知識(shí)的效率將得到持續(xù)提升。那么著眼未來(lái),我們將需要用AI來(lái)做更多更貼近研究本質(zhì)的事情。

一方面是讓AI自行發(fā)現(xiàn)新的研究規(guī)律。既然AI處理知識(shí)的效率比人類更高,那么我們將會(huì)推動(dòng)AI去自行探索、聯(lián)系并找到新的規(guī)律,形成新的研究成果。

另一方面是讓AI加速實(shí)現(xiàn)研究成果普惠。讓AI降低普通大眾獲取、學(xué)習(xí)、利用最新研究成果的門檻,讓新發(fā)現(xiàn)的研究成果能夠更快地惠及對(duì)應(yīng)的用戶群體。

熱新聞