百川智能開(kāi)源Baichuan 2，魔搭社區(qū)首發(fā)模型及應(yīng)用教程

2023-09-06 20:59

9月6日,百川智能發(fā)布第二代開(kāi)源模型Baichuan 2，正式開(kāi)源微調(diào)后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat與其4bit量化版本。模型均免費(fèi)可商用，已在AI模型社區(qū)魔搭ModelScope首發(fā)上架，魔搭第一時(shí)間推出了模型部署相關(guān)教程，供開(kāi)發(fā)者參考并快速上手。

今年6月、7月，百川先后開(kāi)源了上一代的7B和13B模型。本次開(kāi)源的Baichuan 2-7B-Base和 Baichuan 2-13B-Base基于 2.6萬(wàn)億高質(zhì)量多語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練，保留了上一代開(kāi)源模型良好的生成與創(chuàng)作能力、流暢的多輪對(duì)話能力以及部署門(mén)檻較低等眾多特性。

與此同時(shí)，兩個(gè)模型的數(shù)學(xué)、代碼、安全、邏輯推理、語(yǔ)義理解等能力有顯著提升，Baichuan 2-13B-Base相比上一代13B模型，數(shù)學(xué)能力提升49%，代碼能力提升46%，安全能力提升37%，邏輯推理能力提升25%，語(yǔ)義理解能力提升15%。

兩個(gè)模型在各大評(píng)測(cè)榜單上的表現(xiàn)優(yōu)秀，在MMLU、CMMLU、GSM8K等幾大權(quán)威評(píng)估基準(zhǔn)中以絕對(duì)優(yōu)勢(shì)領(lǐng)先LLaMA2，相比其他同等參數(shù)量大模型表現(xiàn)也十分亮眼。更值得一提的是，根據(jù)MMLU等多個(gè)權(quán)威英文評(píng)估基準(zhǔn)評(píng)分 Baichuan2-7B以70億的參數(shù)在英文主流任務(wù)上與130億參數(shù)量的LLaMA2持平。

7B參數(shù)模型的Benchmark成績(jī)

13B參數(shù)模型的Benchmark成績(jī)

Baichuan2-7B和Baichuan2-13B不僅對(duì)學(xué)術(shù)研究完全開(kāi)放，開(kāi)發(fā)者也僅需郵件申請(qǐng)獲得官方商用許可后，即可以免費(fèi)商用。百川智能還開(kāi)源了模型訓(xùn)練的Check Point，并宣布將發(fā)布 Baichuan 2 技術(shù)報(bào)告，詳細(xì)介紹Baichuan 2 的訓(xùn)練細(xì)節(jié)。

作為魔搭社區(qū)的重要合作伙伴，百川智能歷次開(kāi)源模型都以魔搭作為國(guó)內(nèi)首發(fā)平臺(tái)，百川的開(kāi)源模型在魔搭A(yù)I開(kāi)發(fā)者群體中廣受歡迎。

針對(duì)本次開(kāi)源，魔搭社區(qū)基于Baichuan2-13B-Chat開(kāi)發(fā)了體驗(yàn)接口，普通用戶可以直接體驗(yàn)或使用模型；魔搭公眾號(hào)則推出了最佳實(shí)踐教程，提前跑通模型的部署、推理和微調(diào)，供開(kāi)發(fā)者參考。

百川模型體驗(yàn)入口：

https://modelscope.cn/studios/baichuan-inc/Baichuan-13B-Chatdemo/summary

魔搭最佳實(shí)踐：

https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486340&idx=1&sn=c87d949cc6f84366ed394eb427a5d550&chksm=c15e8ff7f62906e1d1950a22b6c1731d2883988d828df7096f6fa9b8beecd07f47394a0986f9&token=1053714178&lang=zh_CN#rd

魔搭是國(guó)內(nèi)規(guī)模領(lǐng)先、開(kāi)發(fā)者活躍的AI模型社區(qū)，由阿里云牽頭發(fā)起。社區(qū)聚集了國(guó)內(nèi)20多家頭部人工智能機(jī)構(gòu)貢獻(xiàn)的1000多款優(yōu)質(zhì)AI模型，為開(kāi)發(fā)者提供一站式的模型體驗(yàn)、下載、推理、調(diào)優(yōu)、定制等服務(wù)。目前魔搭社區(qū)模型的累計(jì)下載量已突破6800萬(wàn)次。

附：魔搭社區(qū)模型下載鏈接

百川2-7B-預(yù)訓(xùn)練模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Base/summary

百川2-7B-對(duì)話模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Chat/summary

百川2-7B-對(duì)話模型-int4量化版：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Chat-int4/summary

百川2-13B-預(yù)訓(xùn)練模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Base/summary

百川2-13B-對(duì)話模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Chat/summary

百川2-13B-對(duì)話模型-4bits量化版：