大模型發(fā)展背景與趨勢

大模型是DT時(shí)代標(biāo)志性產(chǎn)物

大模型是數(shù)字轉(zhuǎn)型（DT）時(shí)代的產(chǎn)物，標(biāo)志著人工智能技術(shù)的一次重大突破，尤其是在自然語言處理（NLP）、圖像識別、推薦系統(tǒng)等領(lǐng)域。這些大模型，如OpenAI的GPT系列、Meta的Llama、Google的Gemini，基于Transformer架構(gòu)，通過消化海量數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，獲得了對人類語言、圖像等數(shù)據(jù)的深入理解和處理能力。

AI大模型：人類知識存儲、傳承和使用方式的一次重構(gòu)

在數(shù)字轉(zhuǎn)型時(shí)代，大模型為企業(yè)提供了前所未有的機(jī)遇，使其能夠通過高效的數(shù)據(jù)分析和決策，實(shí)現(xiàn)業(yè)務(wù)流程的智能化、優(yōu)化客戶體驗(yàn)和創(chuàng)新產(chǎn)品服務(wù)。從金融行業(yè)的智能投顧和欺詐監(jiān)測，到醫(yī)療行業(yè)的智能診斷和藥物發(fā)現(xiàn)，再到零售行業(yè)的個(gè)性化推薦，大模型的應(yīng)用正深刻改變著傳統(tǒng)行業(yè)的運(yùn)作模式和價(jià)值鏈。

在《全域數(shù)據(jù)“觀”》一書中，我們曾斷言：“數(shù)據(jù)的下一站是智能，數(shù)據(jù)最終會走向與業(yè)務(wù)系統(tǒng)的數(shù)智融合”，數(shù)據(jù)消費(fèi)正在由“人”變成“系統(tǒng)”。未來數(shù)據(jù)技術(shù)將與云原生和智能化全面融合，形成“云數(shù)智一體化”服務(wù)。云原生技術(shù)棧，為企業(yè)帶來了資源彈性、異構(gòu)算力、容器和微服務(wù)等技術(shù)手段，為業(yè)務(wù)創(chuàng)新和系統(tǒng)建設(shè)提供了高效、敏捷以及成本低、可擴(kuò)展的解決方案；數(shù)據(jù)中臺的興起，讓企業(yè)將數(shù)據(jù)庫里“不會說話”的表格，轉(zhuǎn)換成指標(biāo)、標(biāo)簽、因子、特征等數(shù)據(jù)資產(chǎn)形態(tài)，并直接用于分析與業(yè)務(wù)決策。現(xiàn)如今，AI大模型正在以驚人的速度重構(gòu)各行各業(yè)的業(yè)務(wù)流程與系統(tǒng)產(chǎn)品，一方面云原生為大模型訓(xùn)練與推理提供了資源保障，數(shù)據(jù)中臺為大模型應(yīng)用提供高質(zhì)量語料和結(jié)構(gòu)化知識；另一方面在大模型全面“智能涌現(xiàn)”能力的驅(qū)動(dòng)下，將傳統(tǒng)偏零散化的數(shù)據(jù)能力進(jìn)一步體系化和智能化，加快BI+AI的融合，實(shí)現(xiàn)從“洞見”到“決策”，推動(dòng)企業(yè)加速走向“云數(shù)智一體化”的終極形態(tài)，最終為客戶帶來更為全新的產(chǎn)品服務(wù)體驗(yàn)。

大模型發(fā)展的趨勢

趨勢一：“Cloud+AI”大模型與云的結(jié)合日益緊密

在信息技術(shù)領(lǐng)域，無疑地，云計(jì)算和人工智能（AI）大模型的快速發(fā)展正日益成為推動(dòng)現(xiàn)代社會進(jìn)步的兩大驅(qū)動(dòng)力。特別是在中國和美國，這兩種技術(shù)不僅誕生并蓬勃發(fā)展，還持續(xù)引領(lǐng)著全球技術(shù)革命的浪潮。隨著時(shí)間的推移，大模型與云計(jì)算的結(jié)合日益緊密，這種融合在推動(dòng)著科技界走向新的里程碑。

首先，觀察全球技術(shù)發(fā)展格局可以發(fā)現(xiàn)，中國和美國無疑是云技術(shù)和AI大模型誕生與創(chuàng)新的兩大中心。這兩個(gè)國家不僅擁有領(lǐng)先的技術(shù)研發(fā)實(shí)力，還具備廣闊的市場應(yīng)用場景和成熟的產(chǎn)業(yè)生態(tài)，促進(jìn)了云計(jì)算和AI大模型技術(shù)的飛速發(fā)展，并在全球范圍內(nèi)形成了巨大的影響力。

進(jìn)一步而言，大模型的迭代進(jìn)化主要發(fā)生在云端。這是因?yàn)樵朴?jì)算提供了高度可擴(kuò)展的計(jì)算資源，使得研究人員和開發(fā)者能夠在無需自建龐大物理基礎(chǔ)設(shè)施的情況下，進(jìn)行模型的訓(xùn)練和部署。云平臺上的彈性資源和高效管理工具為大模型的開發(fā)和優(yōu)化提供了理想的環(huán)境，極大地加速了AI大模型的迭代周期，使得模型能夠更快地進(jìn)化和優(yōu)化，更好地適應(yīng)各種復(fù)雜的應(yīng)用需求。

而且，大模型所遵循的scaling laws（規(guī)模定律）正重塑著算力基礎(chǔ)設(shè)施。隨著模型規(guī)模的不斷擴(kuò)大，其對計(jì)算資源的需求也呈指數(shù)級增長，這一現(xiàn)象催生了對更高性能、更高效率算力基礎(chǔ)設(shè)施的需求。云計(jì)算平臺通過部署先進(jìn)的硬件技術(shù)、優(yōu)化計(jì)算資源分配和加強(qiáng)數(shù)據(jù)處理能力來應(yīng)對這一需求，進(jìn)而推動(dòng)了算力基礎(chǔ)設(shè)施的快速進(jìn)化。這種進(jìn)化不僅滿足了當(dāng)前大模型對算力的高需求，也為未來AI技術(shù)的持續(xù)創(chuàng)新和應(yīng)用提供了堅(jiān)實(shí)的支撐。

大模型與云計(jì)算的緊密結(jié)合，不僅體現(xiàn)在中國和美國這兩個(gè)技術(shù)強(qiáng)國的快速發(fā)展上，更在于云端成為大模型迭代進(jìn)化的主戰(zhàn)場，以及大模型對算力基礎(chǔ)設(shè)施的重新塑形。這種趨勢預(yù)示著，未來科技的進(jìn)步將在這樣的融合與互動(dòng)中繼續(xù)加速，推動(dòng)人類社會進(jìn)入一個(gè)全新的智能時(shí)代。

趨勢二：“AI Everywhere”大模型無處不在，成為企業(yè)數(shù)字化標(biāo)配

在當(dāng)今的數(shù)字化時(shí)代，大模型技術(shù)以其強(qiáng)大的數(shù)據(jù)處理能力和智能化水平，正逐步成為企業(yè)數(shù)字化轉(zhuǎn)型的標(biāo)配。其廣泛的應(yīng)用不僅僅局限于傳統(tǒng)的計(jì)算中心，更是與小模型、新終端以及數(shù)據(jù)中臺結(jié)合，共同構(gòu)筑起一個(gè)多元化部署與互聯(lián)互通的新生態(tài)，極大地深化了對數(shù)據(jù)資源的挖掘與運(yùn)用能力。

首先，大模型與小模型的結(jié)合體現(xiàn)了模型部署的多元化。大模型因其強(qiáng)大的學(xué)習(xí)和預(yù)測能力，成為許多復(fù)雜任務(wù)的首選。然而，針對一些對實(shí)時(shí)性、資源消耗有嚴(yán)格要求的場景，小模型以其輕量級、高效率的特性，更為適合。通過將大模型預(yù)訓(xùn)練的強(qiáng)大認(rèn)知能力與小模型的靈活部署結(jié)合，企業(yè)能夠更高效、更經(jīng)濟(jì)地解決廣泛的業(yè)務(wù)問題，實(shí)現(xiàn)智能決策和操作的優(yōu)化。

接著，大模型與新終端的結(jié)合拓展了模型鏈接的多元化。隨著物聯(lián)網(wǎng)(IoT)的蓬勃發(fā)展，智能終端遍布生活的每一個(gè)角落。大模型不再局限于服務(wù)器端的運(yùn)算，而是通過云計(jì)算和邊緣計(jì)算下沉至各種智能終端，如智能手機(jī)、智能家居、自動(dòng)駕駛車輛等。這種變化使得大模型的應(yīng)用場景得到極大拓展，為用戶帶來更加豐富、便捷、個(gè)性化的智能服務(wù)。

最后，大模型與數(shù)據(jù)中臺的緊密結(jié)合，促進(jìn)了圖像、音視頻、文本等數(shù)據(jù)集的多元化。數(shù)據(jù)中臺作為企業(yè)數(shù)據(jù)管理和運(yùn)營的核心平臺，為大模型提供了豐富、高質(zhì)量的數(shù)據(jù)支持。通過有效地聚合和整合企業(yè)內(nèi)外的各類數(shù)據(jù)資源，大模型可以在更加多元化的數(shù)據(jù)基礎(chǔ)上進(jìn)行訓(xùn)練和優(yōu)化，能夠處理和理解更加復(fù)雜多變的業(yè)務(wù)場景，如圖像識別、語音視頻處理、語言應(yīng)用等，從而極大地提高了企業(yè)的業(yè)務(wù)處理能力和用戶交互體驗(yàn)。

大模型正逐步滲透到企業(yè)數(shù)字化建設(shè)的各個(gè)層面，與小模型、新終端以及數(shù)據(jù)中臺等多元化的元素相結(jié)合，進(jìn)一步拓寬了其應(yīng)用范圍，提升了處理效率和智能水平。大模型無處不在，已經(jīng)成為推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵力量。

趨勢三：“AI  Native SaaS Rise”大模型企業(yè)級市場崛起，向深度化、產(chǎn)業(yè)化、垂直化方向發(fā)展

大模型技術(shù)的崛起已成為推動(dòng)企業(yè)級市場向深度化、產(chǎn)業(yè)化、垂直化方向發(fā)展的關(guān)鍵動(dòng)力。企業(yè)正越來越傾向于將這一技術(shù)作為核心驅(qū)動(dòng)力，深入挖掘其在特定行業(yè)中的應(yīng)用價(jià)值和潛力，進(jìn)而實(shí)現(xiàn)智能化升級與業(yè)務(wù)創(chuàng)新。

首先，大模型在企業(yè)級市場中的深度化應(yīng)用成為一種不可逆轉(zhuǎn)的趨勢。它們不僅被應(yīng)用于優(yōu)化傳統(tǒng)的數(shù)據(jù)處理和分析流程，更在預(yù)測分析、個(gè)性化服務(wù)、自動(dòng)決策制定等領(lǐng)域中展現(xiàn)出強(qiáng)大的能力。這種深度化應(yīng)用的背后，是企業(yè)對于數(shù)據(jù)價(jià)值認(rèn)知的提升以及對于操作效率和決策質(zhì)量改進(jìn)的需求。

“小切口，大縱深”的發(fā)展策略，正加速大模型在特定行業(yè)中的垂直化和產(chǎn)業(yè)化落地。企業(yè)通過聚焦于行業(yè)的細(xì)分領(lǐng)域，利用大模型深耕特定的痛點(diǎn)和需求，不僅提升了解決方案的適配性和有效性，也推動(dòng)了整個(gè)行業(yè)的智能化水平。這種策略的實(shí)施，充分顯示了大模型在解決復(fù)雜行業(yè)問題時(shí)的獨(dú)特優(yōu)勢，促進(jìn)了技術(shù)與行業(yè)深度融合，實(shí)現(xiàn)了產(chǎn)業(yè)升級。

企業(yè)間的開放新形態(tài)，特別是在金融領(lǐng)域涌現(xiàn)的新的Open Banking模式，為大模型技術(shù)的應(yīng)用開辟了更加廣闊的舞臺。Open Banking帶來的數(shù)據(jù)共享和API開放不僅有利于現(xiàn)有金融服務(wù)的增值，還為金融科技創(chuàng)新和跨行業(yè)合作打開了大門。這為大模型技術(shù)的應(yīng)用和發(fā)展提供了更加廣闊的舞臺和應(yīng)用場景。

大模型技術(shù)在企業(yè)級市場的崛起，不僅預(yù)示著企業(yè)對于數(shù)據(jù)和智能的更深層次應(yīng)用和挖掘，也引領(lǐng)了向產(chǎn)業(yè)化、垂直化方向的戰(zhàn)略發(fā)展。

趨勢四：“AI API First”大模型功能性能力突破性增長

近段時(shí)間以來，大模型正在經(jīng)歷功能性能力的快速增長和重大突破，其中多模態(tài)、Agent模式以及Assistant API成為了推動(dòng)這一進(jìn)程的關(guān)鍵力量。這些技術(shù)革新不僅擴(kuò)展了大模型在不同領(lǐng)域的應(yīng)用范圍，還為人機(jī)交互和應(yīng)用開發(fā)帶來了新的可能。

多模態(tài)技術(shù)的出現(xiàn)和成熟拓展了大模型的廣度，讓機(jī)器能夠同時(shí)處理和理解文本、圖像、音頻等多種類型的數(shù)據(jù)，實(shí)現(xiàn)了對人類溝通方式的更全面理解。這標(biāo)志著AI從處理單一類型數(shù)據(jù)向綜合理解不同數(shù)據(jù)類型的重大進(jìn)步。多模態(tài)大模型在提升信息獲取的全面性和準(zhǔn)確性方面展示了巨大潛力，極大地豐富了AI在自動(dòng)化內(nèi)容創(chuàng)作、跨媒體信息檢索、以及增強(qiáng)現(xiàn)實(shí)等方面的應(yīng)用場景。

Agent模式的崛起，成為人類與AI協(xié)作的一種重要方式。在這種模式下，AI可以作為一個(gè)個(gè)體（agent），擁有自我學(xué)習(xí)和自主決策的能力，在特定的環(huán)境中根據(jù)既定的目標(biāo)執(zhí)行任務(wù)。這不僅表明了AI的工作模式正變得更加智能化和個(gè)性化，也為人類提供了強(qiáng)大的助手，從簡單的數(shù)據(jù)分析到復(fù)雜的決策制定，AI Agent能夠有效地輔助人類完成各種任務(wù)，推動(dòng)人機(jī)協(xié)作進(jìn)入新的階段。

Assistant API的推出，為開發(fā)者提供了全新的能力，大幅降低了開發(fā)門檻。通過簡單的API調(diào)用，開發(fā)者可以輕松地將大模型的強(qiáng)大功能集成到自己的應(yīng)用或服務(wù)中，無需深入了解模型內(nèi)部的復(fù)雜機(jī)理，即可搭建出智能化程度高、用戶體驗(yàn)好的應(yīng)用產(chǎn)品。這種開放的、低門檻的開發(fā)方式，不僅加速了創(chuàng)新應(yīng)用的推出，也讓更多企業(yè)和個(gè)人能夠享受到AI技術(shù)帶來的紅利。

趨勢五：“AI Cyber Security”大模型更重視隱私和數(shù)據(jù)安全

隨著大模型的廣泛應(yīng)用，對隱私和數(shù)據(jù)安全的重視程度日益增強(qiáng)。企業(yè)和研究機(jī)構(gòu)正在通過實(shí)施一系列措施，來加強(qiáng)對用戶數(shù)據(jù)的保護(hù)，確保信息安全和隱私被妥善處理。這些措施的核心在于構(gòu)建一個(gè)有效、可靠的數(shù)據(jù)管理及隱私防護(hù)框架，確保大模型安全評估體系的全面性，并解決AI工作的可解釋性問題。

有效的數(shù)據(jù)分類分級制度成為奠定數(shù)據(jù)管理及隱私防護(hù)框架的基礎(chǔ)。通過對數(shù)據(jù)進(jìn)行系統(tǒng)的分類和分級，明確不同類別數(shù)據(jù)的處理要求和安全標(biāo)準(zhǔn)，可以更加有針對性地制定保護(hù)措施。這種方法不僅有助于提升數(shù)據(jù)處理的效率和精準(zhǔn)度，也有利于識別和保護(hù)那些最敏感和價(jià)值最高的數(shù)據(jù)，從而有效減少數(shù)據(jù)泄露和濫用的風(fēng)險(xiǎn)。

構(gòu)建一套全面的安全評估體系對于大模型體系至關(guān)重要。這套體系應(yīng)涵蓋大模型訓(xùn)練、部署、應(yīng)用生命周期的各個(gè)階段，從數(shù)據(jù)的收集、存儲、使用到銷毀等，每個(gè)環(huán)節(jié)都應(yīng)進(jìn)行嚴(yán)格的安全審查和評估。通過定期進(jìn)行安全審計(jì)、漏洞掃描和風(fēng)險(xiǎn)評估等活動(dòng)，可以及時(shí)發(fā)現(xiàn)和修復(fù)安全漏洞，強(qiáng)化系統(tǒng)的安全防護(hù)能力，減輕外部攻擊和內(nèi)部泄露的風(fēng)險(xiǎn)。

隨著大模型應(yīng)用到越來越多的場景，其工作的可解釋性問題越來越受到重視。大模型，特別是transformer的架構(gòu)被認(rèn)為是“黑盒”，難以解釋其決策邏輯和過程。增強(qiáng)AI工作的可解釋性不僅有助于建立用戶對AI決策的信任，也是確保模型公平、無偏見的關(guān)鍵。通過開發(fā)和應(yīng)用新的解釋性技術(shù)和方法，讓AI的決策過程更加透明，可以有效提升模型的公正性和安全性，減少錯(cuò)誤決策和偏差帶來的風(fēng)險(xiǎn)。

金融企業(yè)擁抱大模型面臨的挑戰(zhàn)

“科技本質(zhì)上是工具，其真正價(jià)值在于解決我們面臨的各種問題，而非僅限于自我展示的華麗舞臺?！边@一觀點(diǎn)在大模型領(lǐng)域同樣適用且更具象化。我們可以定位大模型：“大模型之于問題，恰似鑰匙之于鎖，其存在的意義在于解鎖通往智慧殿堂的大門，而非僅供觀瞻的浮華裝飾?！?/p>

大模型在金融領(lǐng)域的廣泛應(yīng)用并非一片坦途，它在為金融機(jī)構(gòu)帶來顯著價(jià)值增益的同時(shí)，亦暴露出一系列不容忽視的問題與挑戰(zhàn)。這些問題不僅關(guān)乎技術(shù)層面的可行性與穩(wěn)定性，更延伸至合規(guī)、安全、倫理等多個(gè)關(guān)鍵維度，對金融企業(yè)的穩(wěn)健運(yùn)營與長期發(fā)展構(gòu)成潛在考驗(yàn)。因此，深入探討金融企業(yè)采用大模型可能面臨的問題，對于理性評估其戰(zhàn)略價(jià)值，制定科學(xué)的應(yīng)對策略，乃至推動(dòng)整個(gè)行業(yè)在技術(shù)創(chuàng)新與風(fēng)險(xiǎn)管理之間找到平衡至關(guān)重要。

問題1: “有限算力+持續(xù)進(jìn)化的算力”，雙重制約下的算力資源

“有限算力+持續(xù)進(jìn)化的算力”，這種雙重制約下的算力資源現(xiàn)狀，體現(xiàn)了大模型時(shí)代中一個(gè)核心的矛盾和挑戰(zhàn)：如何在當(dāng)前資源的限制之下，同時(shí)規(guī)劃和適應(yīng)不斷進(jìn)化和增強(qiáng)的計(jì)算能力。這對應(yīng)用場景選擇、資源投入、大模型部署方式等方面提出了復(fù)雜的要求。

1、算力永遠(yuǎn)短缺：隨著大模型參數(shù)量的持續(xù)膨脹，其對算力資源的消耗顯著增長。同時(shí)，在AI持續(xù)“重塑”業(yè)務(wù)流程的過程中，對算力資源的需求也出現(xiàn)了急劇飆升。這兩方面因素相疊加，共同加劇了現(xiàn)有算力資源供不應(yīng)求的局面，使得算力短缺成為了一個(gè)常態(tài)性的挑戰(zhàn)。

2、硬件高速迭代：GPU每18到24個(gè)月，迭代出一代新產(chǎn)品，配備更先進(jìn)的架構(gòu)和更強(qiáng)大的計(jì)算能力，而通常采購周期都以年為單位，使得我們將不得不面對，剛上線的算力資源，就被新一代所淘汰，性價(jià)比下降，同時(shí)還要面對算力利用率不高，資源極度浪費(fèi)的情況。

3、資源兼容優(yōu)化配置：國內(nèi)外的不同廠商GPU算力水平參差不齊，技術(shù)框架互不兼容，整合這些異構(gòu)的資源，管理配置和優(yōu)化算力的使用，將是我們面臨的又一個(gè)挑戰(zhàn)。

問題2: “開源模型 vs 商業(yè)模型”，左右互搏的自建大模型之路

在大模型選型之路上，是選擇開源模型還是商業(yè)模型？開源大模型和開源軟件是一回事嗎？

成熟開源軟件與當(dāng)下開源模型區(qū)別：

1、成熟開源軟件通常是技術(shù)和能力相對成熟和穩(wěn)定的軟件應(yīng)用和系統(tǒng)，分享的是完整的代碼庫和文檔，用戶可以自由地對與自身業(yè)務(wù)有關(guān)的代碼進(jìn)行修改，一般以使用核心能力為主定制為輔，版本迭代周期相對比較慢，同時(shí)也會規(guī)定了用戶使用軟件的權(quán)利和限制條件。

2、當(dāng)下開源模型是專注于數(shù)據(jù)科學(xué)、人工智能和相關(guān)領(lǐng)域，作為數(shù)據(jù)處理和分析的關(guān)鍵組件，正處于技術(shù)迭代的高速發(fā)展期，一般以月或季度為單位進(jìn)行新版本發(fā)布，并且技術(shù)和能力持續(xù)性攀升，一般版本開源是有限的，無法按照客戶業(yè)務(wù)進(jìn)行深度的定制，并且全局能力一般不建議調(diào)整。

開源模型與商業(yè)模型的優(yōu)勢與不足：

1、開源模型：通常允許用戶審查和驗(yàn)證模型的代碼和架構(gòu)，不需要支付額外的許可費(fèi)用，能夠通過社區(qū)迭代升級。但需要專業(yè)人才研究和業(yè)務(wù)磨合嘗試，周期長見效慢，缺少專門維護(hù)和支持，不包含商業(yè)產(chǎn)品中的安全和穩(wěn)定性，文檔和易用性支持較弱，模型升級迭代周期一般6-12個(gè)月，業(yè)務(wù)集成應(yīng)用的時(shí)間會更長。我們不應(yīng)該拘泥于對種類繁多參數(shù)的基礎(chǔ)模型進(jìn)行訓(xùn)練或微調(diào)，模型能力比對和測評，應(yīng)該把更多精力放在如何讓模型在業(yè)務(wù)中產(chǎn)生價(jià)值，因?yàn)椴煌哪Ｐ鸵蛴?xùn)練數(shù)據(jù)的差別，業(yè)務(wù)適配能力又有不同。

2、商業(yè)模型：提供商雖然提供全面的客戶支持和服務(wù)，附帶明確的服務(wù)等級協(xié)議（SLA），模型迭代升級非?？?，公有云以月為單位小版本迭代，線下以季度訂閱更新，并提供對兼容性、穩(wěn)定性和安全性的保證，能夠滿足金融行業(yè)的法規(guī)和遵從性要求，也提供完整的解決方案，軟硬件產(chǎn)品的良好整合，降低業(yè)務(wù)場景落地的風(fēng)險(xiǎn)。但技術(shù)透明性較差，長期依賴特定的商業(yè)模型和平臺可能導(dǎo)致供應(yīng)商鎖定，降低切換供應(yīng)商的靈活性。

問題3: “大模型 vs 越來越大的模型”，模型size的軍備競賽

OpenAI的研究者在2020年發(fā)現(xiàn)，大語言模型也遵循著規(guī)模定律（Scaling Law），模型參數(shù)數(shù)量的增加常常被看作是提高模型性能的一個(gè)關(guān)鍵因素。這導(dǎo)致了一種被業(yè)界戲稱為“模型參數(shù)的軍備競賽”的現(xiàn)象，即科研機(jī)構(gòu)和科技公司不斷推出參數(shù)量更大、計(jì)算需求更高的模型，以追求在特定任務(wù)上的最佳性能。然而，這種軍備競賽帶來了諸多挑戰(zhàn)：

越來越大的模型通常具有更強(qiáng)的學(xué)習(xí)能力和泛化能力，因?yàn)橛懈嗟膮?shù)可以捕捉數(shù)據(jù)中的復(fù)雜特征和模式。能夠處理更復(fù)雜的任務(wù)和數(shù)據(jù)集，通常在各種基準(zhǔn)和實(shí)際問題上表現(xiàn)更好。隨著參數(shù)數(shù)量的增加，模型通常能夠更好地理解語言的細(xì)微差別或更精準(zhǔn)地識別圖像中的對象。   

但越來越大的模型帶來能力提升的同時(shí)，也帶來了海量的算力消耗，如何根據(jù)不同的業(yè)務(wù)場景選擇合適的模型將是一個(gè)迫在眉睫的問題？

大模型推理運(yùn)行時(shí)，核心消耗的資源是顯存，推理過程中除了要加載對應(yīng)參數(shù)的模型，還與輸入輸出的參數(shù)量有關(guān)，輸入?yún)?shù)越多顯存消耗越大，輸出參數(shù)量越多模型響應(yīng)越慢，我們根據(jù)一個(gè)簡單的估算公式，來評估不同業(yè)務(wù)場景的資源消耗：

大模型推理的總顯存占用公式：  ≈1.2?

（詳見參考：Transformer Inference Arithmetic | kipply's blog）

以72B參數(shù)的模型，在BF16精度下（浮點(diǎn)數(shù)2個(gè)字節(jié)）

≈1.2*（72億*2）≈172.8G

運(yùn)行一個(gè)72B的大模型至少需要3張A100（80G），現(xiàn)以企業(yè)知識庫和智能外呼場景為例進(jìn)行資源評估：

 知識庫檢索場景：典型的RAG增強(qiáng)檢索高并發(fā)場景，輸入少輸出多，每次問題請求處理時(shí)間在1-2s，峰值支持50并發(fā)（按照5000人的金融機(jī)構(gòu)有1%的并發(fā)率），需要的GPU卡的數(shù)量在150-300張A100（80G），如果想要更精準(zhǔn)的回復(fù)，可以選擇200B或更大的模型，但200B大模型算力消耗會有2.7倍的增加。

 智能外呼場景：典型的高并發(fā)低延時(shí)場景，輸入多輸出少，每次意圖識別響應(yīng)時(shí)間200-300ms，峰值支持1000并發(fā)，需要的GPU卡的數(shù)量在600-900張A100（80G）。

在正式生產(chǎn)業(yè)務(wù)應(yīng)用時(shí)，業(yè)務(wù)是有典型的波峰波谷的，如果我們按照波峰要求建設(shè)算力池，勢必會帶來資源的低效使用，例如：知識庫檢索應(yīng)用的平均資源利用率在20%-30%；智能外呼應(yīng)用的平均資源利用率在5%-10%。如何提高算力資源利用率將是一個(gè)頗具挑戰(zhàn)的問題？

問題4: “大模型RAG一天入門 vs 365天的持續(xù)優(yōu)化”，RAG系統(tǒng)的修行

Retrieval-Augmented Generation (RAG) 技術(shù)巧妙融合了信息檢索與文本生成的雙重優(yōu)勢，為應(yīng)對復(fù)雜查詢和生成任務(wù)（如問答系統(tǒng)、內(nèi)容創(chuàng)造）提供了強(qiáng)有力的支持。盡管RAG技術(shù)展現(xiàn)出顯著提升模型效能與拓展應(yīng)用領(lǐng)域的潛力，它也遭遇了幾點(diǎn)核心挑戰(zhàn)，制約著其性能的極致發(fā)揮：

1、語義檢索難關(guān)：實(shí)現(xiàn)精準(zhǔn)的語義檢索面臨重重障礙，首要在于深入理解用戶查詢與文檔內(nèi)容的深層含義，并準(zhǔn)確評估兩者間的語義契合度。當(dāng)前普遍采用基于數(shù)據(jù)向量化的手段，在向量空間通過距離或相似度指標(biāo)來衡量語義接近度，但這種方法難以完美解決語義多義性、信息粒度不匹配、全局與局部相關(guān)性的權(quán)衡，以及向量空間分布不均帶來的檢索效率與效果問題。

2、 信息增強(qiáng)的精細(xì)度：整合檢索信息的過程中，若缺乏對上下文的把握，生成的文本容易顯得碎片化，連貫性缺失。特別是在處理來自多個(gè)來源、風(fēng)格迥異的段落時(shí)，既要避免內(nèi)容重復(fù)，又要依據(jù)查詢語境對檢索片段精挑細(xì)選并合理排序，以確保輸出的一致性和流暢度，這一過程考驗(yàn)著信息增強(qiáng)機(jī)制的智能化水平。

3、 延遲挑戰(zhàn)：在即時(shí)交互場景，如在線客服對話系統(tǒng)中，檢索與生成的響應(yīng)時(shí)間直接關(guān)系到用戶體驗(yàn)。為了減少延遲，優(yōu)化模型效率與系統(tǒng)架構(gòu)成為迫切需求，要求RAG技術(shù)能在高時(shí)效性要求的應(yīng)用中穩(wěn)定運(yùn)行。

問題5: “殺手級通用大模型 vs 百花齊放專屬大模型”，企業(yè)級AI應(yīng)用的價(jià)值自證？

企業(yè)在利用大模型進(jìn)行業(yè)務(wù)升級改造時(shí)，選擇使用一個(gè)殺手級通用大模型，還是百花齊放的專屬大模型，取決于您具體的業(yè)務(wù)需求、戰(zhàn)略目標(biāo)和資源限制。無論選擇哪種模式，都會面臨挑戰(zhàn)和價(jià)值自證。

殺手級通用大模型：選擇大參數(shù)的基礎(chǔ)模型，結(jié)合企業(yè)的數(shù)據(jù)進(jìn)行微調(diào)，構(gòu)建企業(yè)級的殺手級通用大模型。其優(yōu)勢在于能快速處理多樣化的任務(wù)和應(yīng)用場景，更快的帶來直接的業(yè)務(wù)價(jià)值和經(jīng)濟(jì)收益；其挑戰(zhàn)在于越大參數(shù)的模型微調(diào)需要的數(shù)據(jù)量就越大，算力消耗也更大，而且也較難應(yīng)對特殊的高并發(fā)低延時(shí)場景。

百花齊放的專屬大模型：根據(jù)不同知識域的業(yè)務(wù)需要，選擇適合參數(shù)的大模型微調(diào)業(yè)務(wù)專屬大模型，能夠吸引和滿足更廣泛的客戶群體和個(gè)性化定制服務(wù)的需要。通常情況越小參數(shù)的大模型，微調(diào)的效果越好，越大參數(shù)的模型微調(diào)的效果越難保障。多樣化的模型和應(yīng)用需求，可以快速推動(dòng)企業(yè)在不同領(lǐng)域進(jìn)行技術(shù)和業(yè)務(wù)創(chuàng)新。但多樣化專屬大模型，貴在精不在多，如何決策需要構(gòu)建哪些專屬大模型呢？又如何解決多個(gè)專屬大模型統(tǒng)一運(yùn)維管理的挑戰(zhàn)？

無論選擇哪種方式，都要確保大模型構(gòu)建的AI應(yīng)用能夠與企業(yè)的長期戰(zhàn)略相契合，并在實(shí)現(xiàn)業(yè)務(wù)目標(biāo)的同時(shí)，提升客戶體驗(yàn)和企業(yè)運(yùn)營效率。因企業(yè)的自身特有數(shù)據(jù)量有限，大模型的微調(diào)需量力而行，比如當(dāng)前千億參數(shù)以上的大模型就不適合微調(diào)，不僅成本消耗大且能力提升有限，有可能還會影響原有大模型的推理能力。更為重要的是要建立收集反饋和定期評估應(yīng)用的機(jī)制，推動(dòng)大模型和業(yè)務(wù)應(yīng)用的優(yōu)化，在不斷調(diào)整和完善中體現(xiàn)出AI大模型的價(jià)值。

問題6: “大模型廣泛應(yīng)用 vs 應(yīng)用安全隱患”，大模型面臨的安全挑戰(zhàn)

隨著大模型深入應(yīng)用，一些因大模型關(guān)聯(lián)引發(fā)的安全問題讓大家重視起來，如大規(guī)模數(shù)據(jù)采集和應(yīng)用帶來的個(gè)人隱私泄露和濫用的問題，大模型生成內(nèi)容可能帶有的偏見歧視、違法違規(guī)、科技倫理類問題，以及利用大模型強(qiáng)大能力用于欺詐等惡意應(yīng)用場景的問題等?？偟膩碚f，大模型在安全方面面臨大模型自身安全和模型應(yīng)用安全兩個(gè)方面的挑戰(zhàn)。

大模型自身安全的挑戰(zhàn)：

1、大模型訓(xùn)練安全：如何使用數(shù)字加密技術(shù)和差分隱私技術(shù)在訓(xùn)練過程中保護(hù)敏感數(shù)據(jù)安全？如何清洗訓(xùn)練數(shù)據(jù)，以避免潛在的惡意數(shù)據(jù)注入或偏差造成的訓(xùn)練問題？如何定期對訓(xùn)練數(shù)據(jù)和模型權(quán)重進(jìn)行審計(jì)，以檢測潛在的安全隱患或異常模式？

2、大模型生成的風(fēng)險(xiǎn)：涉及敏感知識點(diǎn)的問題不允許答錯(cuò)：但大模型本身的幻覺問題嚴(yán)重，怎樣避免？隱晦風(fēng)險(xiǎn)和多輪對話上下文：傳統(tǒng)的防控手段很難應(yīng)對這么復(fù)雜的風(fēng)險(xiǎn)，怎么辦？復(fù)雜的指令對抗：對于層出不窮的誘導(dǎo)、變種等攻擊，怎樣能做到全面的防控？

大模型應(yīng)用與部署安全的挑戰(zhàn)：

1、大模型部署安全：如何針對模型抵抗對抗性攻擊做強(qiáng)化訓(xùn)練，例如將對抗性樣本加入訓(xùn)練集進(jìn)行魯棒性提升？如何對模型輸入實(shí)施嚴(yán)格的驗(yàn)證和過濾機(jī)制，以防止惡意輸入？如何實(shí)施訪問控制和身份驗(yàn)證機(jī)制，確保只有授權(quán)用戶才能訪問和使用模型？

2、模型應(yīng)用部署安全：如何針對模型應(yīng)用服務(wù)訪問控制和輸入輸出進(jìn)行安全防控？如何進(jìn)行防御DDoS攻擊、防范惡意勒索、大促安全風(fēng)控、遠(yuǎn)程辦公安全等風(fēng)險(xiǎn)的實(shí)時(shí)防護(hù)？如何持續(xù)監(jiān)控模型性能和行為，以及它們對輸入反饋的響應(yīng)，以便及時(shí)發(fā)現(xiàn)問題，實(shí)施日志記錄和異常檢測系統(tǒng)來追蹤潛在的安全事件？如何構(gòu)建有效的大模型安全圍欄，制定安全措施和策略，保障大模型應(yīng)用的完整性、隱私、可控性和抵御外部攻擊？

金融級AI原生的要素與藍(lán)圖

金融級AI原生的發(fā)展

講到AI，業(yè)內(nèi)主要分為生成式AI（Generative AI）與判別式AI（Discriminant AI）這兩種不同類型的機(jī)器學(xué)習(xí)模型，它們在數(shù)據(jù)建模和應(yīng)用領(lǐng)域上存在顯著差異。

判別式AI，主要關(guān)注基于已有數(shù)據(jù)進(jìn)行分析和預(yù)測。它通過學(xué)習(xí)輸入和輸出之間的關(guān)系來建立決策邊界，對新的輸入數(shù)據(jù)進(jìn)行分類或回歸等任務(wù)。常見的判別式AI模型包括邏輯回歸、支持向量機(jī)和深度神經(jīng)網(wǎng)絡(luò)等。判別式AI在推薦系統(tǒng)、風(fēng)控系統(tǒng)等領(lǐng)域有廣泛應(yīng)用。

生成式AI則關(guān)注學(xué)習(xí)輸入數(shù)據(jù)的分布規(guī)律，并模擬出與輸入數(shù)據(jù)類似的新數(shù)據(jù)。它不僅能預(yù)測數(shù)據(jù)之間的關(guān)系，還能夠生成新的數(shù)據(jù)。

AI原生系統(tǒng)從一開始就被設(shè)計(jì)成能夠充分利用判別式AI和生成式AI技術(shù)，以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)、智能化決策和服務(wù)的自動(dòng)化。AI原生涵蓋了從數(shù)據(jù)處理、模型訓(xùn)練、推理應(yīng)用到迭代優(yōu)化的全過程，目的是讓AI技術(shù)如同操作系統(tǒng)一樣成為日常業(yè)務(wù)運(yùn)行的基礎(chǔ)。

AI原生是一種全新的技術(shù)架構(gòu)和思維方式，將AI技術(shù)作為一種基礎(chǔ)能力，深度整合到企業(yè)的基礎(chǔ)設(shè)施、業(yè)務(wù)流程、產(chǎn)品設(shè)計(jì)和服務(wù)模式中。

金融機(jī)構(gòu)作為國民經(jīng)濟(jì)的中樞支柱，其運(yùn)作效能、風(fēng)險(xiǎn)管控及服務(wù)質(zhì)量對社會經(jīng)濟(jì)的整體穩(wěn)定與發(fā)展具有深遠(yuǎn)影響。金融級AI原生（Financial-Grade AI Native）是一個(gè)綜合性概念，旨在描述那些專為滿足金融行業(yè)最嚴(yán)格需求而設(shè)計(jì)和優(yōu)化的AI系統(tǒng)和應(yīng)用。這些系統(tǒng)不僅在技術(shù)層面上高度先進(jìn)，還在安全性、可靠性、可擴(kuò)展性和合規(guī)性等方面達(dá)到了金融行業(yè)的高標(biāo)準(zhǔn)。

金融級AI原生的六大要素

AI技術(shù)在金融行業(yè)中扎根生長并深入應(yīng)用，必須嚴(yán)格遵循金融行業(yè)的業(yè)務(wù)規(guī)則與標(biāo)準(zhǔn)，這就催生了專為金融領(lǐng)域打造的金融級AI原生。綜合考慮金融級行業(yè)要求、AI原生核心技術(shù)，我們將金融級AI原生總結(jié)為如下6大要素：

要素1：可靠性和穩(wěn)定性

當(dāng)前金融行業(yè)隨著數(shù)字化、智能化的轉(zhuǎn)型，越來越多的金融級AI原生應(yīng)用涌現(xiàn)，大規(guī)模智算資源的統(tǒng)籌管理和編排調(diào)度，對于確保金融基礎(chǔ)設(shè)施的連續(xù)性與穩(wěn)定性成為至關(guān)重要的能力基石。下面從訓(xùn)練態(tài)和推理態(tài)兩個(gè)方面來說明智算平臺需要提供怎樣的能力來保證應(yīng)用的可靠性和穩(wěn)定性。

訓(xùn)練態(tài)：

智算平臺需要大規(guī)模集群調(diào)度管理，洞察集群狀態(tài)與性能變化，掌控系統(tǒng)全貌。通過訓(xùn)練引擎自動(dòng)容錯(cuò)來屏蔽底層錯(cuò)誤，提升任務(wù)穩(wěn)定性和魯棒性。通過實(shí)時(shí)保存模型文件，大幅度提高訓(xùn)練任務(wù)的整體效率。通過云原生性能測試平臺， 完成一鍵測試系統(tǒng)性能，及時(shí)發(fā)現(xiàn)隱藏的瓶頸。

推理態(tài)：

目前大模型的推理部署還沒有一個(gè)事實(shí)標(biāo)準(zhǔn)，一方面不斷有新的模型發(fā)布，另一方面也不斷有新的訓(xùn)練和推理方法被提出，再者國產(chǎn)化GPU硬件和軟件生態(tài)也在快速迭代，這給大模型推理服務(wù)生產(chǎn)上落地帶來不小挑戰(zhàn)。為了應(yīng)對上述挑戰(zhàn)在模型準(zhǔn)備和部署階段，我們建議遵從以下原則：

分層設(shè)計(jì)：由于模型本身文件較大，模型加載和啟動(dòng)時(shí)間往往以分鐘甚至小時(shí)計(jì)。在模型準(zhǔn)備階段，將運(yùn)行依賴環(huán)境、模型文件、推理代碼分層設(shè)計(jì)統(tǒng)一驗(yàn)證并推送到合適的存儲服務(wù)層；在模型部署階段，通過云平臺存算分離，共享掛載、緩存加速等方式實(shí)現(xiàn)模型的快速部署和加速啟動(dòng)；

統(tǒng)一調(diào)度：基于K8S 對IaaS 云服務(wù)或者客戶 IDC 內(nèi)各種異構(gòu)的計(jì)算（如CPU，GPU，NPU）、存儲（OSS，NAS， CPFS，HDFS）、網(wǎng)絡(luò)（TCP， RDMA）資源進(jìn)行抽象，統(tǒng)一管理、運(yùn)維和分配，通過彈性和軟硬協(xié)同優(yōu)化，持續(xù)提升資源利用率。

云化部署：借助K8S調(diào)度框架和云化基礎(chǔ)設(shè)施，實(shí)現(xiàn)對大模型應(yīng)用的多實(shí)例高可用部署和故障自動(dòng)切換。

要素2：低延時(shí)與高并發(fā)

大模型在實(shí)現(xiàn)低延時(shí)和高并發(fā)處理方面是AI原生應(yīng)用的重大挑戰(zhàn)之一，尤其是在需要實(shí)時(shí)響應(yīng)和服務(wù)大量用戶的應(yīng)用場景中。

實(shí)時(shí)交易的場景下，系統(tǒng)需要幾乎實(shí)時(shí)地處理和響應(yīng)用戶的查詢或請求。如銀行行業(yè)客戶通話的場景中，需要應(yīng)用大模型實(shí)時(shí)識別用戶意圖，并實(shí)時(shí)反饋相應(yīng)的話術(shù)，這個(gè)場景對大模型的時(shí)延要求非常高，需要在很短的時(shí)間來做出相應(yīng)的應(yīng)答。同樣在保險(xiǎn)行業(yè)中，利用大模型處理車險(xiǎn)、健康險(xiǎn)等理賠案件，需要迅速分析上傳的圖片、視頻及其他證據(jù)材料，快速準(zhǔn)確地完成初步定損工作。當(dāng)前，推理優(yōu)化、加速主要有幾種方式，如模型架構(gòu)（使用MoE架構(gòu)）優(yōu)化、模型本身（剪枝、量化、知識蒸餾等）優(yōu)化，和利用多機(jī)多卡環(huán)境進(jìn)行數(shù)據(jù)并行、模型并行，分散模型負(fù)載，加速計(jì)算過程。

高并發(fā)場景是指在短時(shí)間內(nèi)有大量用戶請求涌入系統(tǒng)，要求系統(tǒng)能快速響應(yīng)并處理這些請求，保證服務(wù)的穩(wěn)定性和用戶體驗(yàn)。如紅包發(fā)放的促銷活動(dòng)期間，大量用戶同時(shí)進(jìn)行請求，在紅包領(lǐng)取的同時(shí)需要應(yīng)用大模型做實(shí)時(shí)推薦。高并發(fā)可以通過調(diào)度優(yōu)化來支撐，調(diào)度系統(tǒng)可以根據(jù)請求狀態(tài)的動(dòng)態(tài)變化對調(diào)度決策進(jìn)行適應(yīng)性調(diào)整，并以此實(shí)現(xiàn)如負(fù)載均衡、碎片整理、請求優(yōu)先級、高效的實(shí)例擴(kuò)縮容等一系列調(diào)度特性和優(yōu)化。

我們來看一個(gè)實(shí)際的案例：一家互聯(lián)網(wǎng)金融企業(yè)，在外呼過程中，通過大模型識別客戶意愿，完成多輪客戶對話交互。

從當(dāng)前業(yè)務(wù)模式觀察，存在顯著的忙閑周期：在需求高峰時(shí)段，必須確保充足計(jì)算能力以維持業(yè)務(wù)運(yùn)營，確?？蛻粝硎艿絻?yōu)質(zhì)的外呼體驗(yàn)；而到了低谷期，則需釋放這些資源，以便供給其他業(yè)務(wù)利用。然而，當(dāng)這些釋放的計(jì)算資源無其他業(yè)務(wù)承接時(shí)，便會造成極大的資源閑置。專為某特定業(yè)務(wù)保有大量計(jì)算資源是不切實(shí)際的，因?yàn)橥ǔＧ闆r下，這些資源的使用效率極低，僅能達(dá)到約10%。因此，尋找一種既能應(yīng)對峰值需求，又能高效利用資源的策略顯得尤為重要。而混合云架構(gòu)可以較好地解決這個(gè)問題，利用金融云的彈性資源來滿足波峰波谷的業(yè)務(wù)需求。

要素3：擴(kuò)展性與多樣性

大模型的擴(kuò)展性與多樣性是確保其在未來可持續(xù)發(fā)展和適應(yīng)新需求的關(guān)鍵屬性。這兩個(gè)概念在大模型的設(shè)計(jì)、開發(fā)、部署和維護(hù)過程中扮演著重要角色。

擴(kuò)展性是指為了滿足業(yè)務(wù)發(fā)展的需求，需要一種彈性的伸縮架構(gòu)，滿足大模型應(yīng)用對不斷增長算力的需求。通過這種彈性的伸縮架構(gòu)，來解決了前面提到的“有限算力”的問題。

對于金融客戶來說，目前有三種算力資源擴(kuò)展的形態(tài)可以選擇：

一、直接使用金融云的公共資源池。對于數(shù)據(jù)可以上云的客戶來說，企業(yè)無需自行構(gòu)建復(fù)雜的算力基礎(chǔ)設(shè)施或大模型開發(fā)平臺，而是直接利用公共資源池來進(jìn)行模型推理和高效微調(diào)。金融云提供了簡便的應(yīng)用開發(fā)平臺，開發(fā)完畢的應(yīng)用能夠便捷地通過API接口進(jìn)行業(yè)務(wù)集成與調(diào)用，在金融云環(huán)境中，可以按需隨意進(jìn)行算力資源的擴(kuò)縮容，從而極大地提升了效率和靈活性。

二、金融云客戶VPC方式。對于有數(shù)據(jù)安全管控需求的客戶，建議采用VPC方式。大模型應(yīng)用及知識庫部署在金融云客戶VPC環(huán)境中，確保推理過程中產(chǎn)生的數(shù)據(jù)及微調(diào)所用的數(shù)據(jù)均存儲在客戶VPC的區(qū)域內(nèi)，以此加強(qiáng)數(shù)據(jù)的隱私性和安全性。應(yīng)用的開發(fā)工作在公共資源池的平臺進(jìn)行，同時(shí)該平臺支持大模型的微調(diào)及推理等功能。一旦應(yīng)用開發(fā)完成，便部署到客戶VPC區(qū)域，并通過API接口無縫對接公共資源池中的大模型服務(wù)，實(shí)現(xiàn)高效、安全的資源調(diào)用與協(xié)同作業(yè)。在客戶VPC方式中，同樣可以根據(jù)需要對算力資源進(jìn)行動(dòng)態(tài)擴(kuò)縮容。

三、線下IDC與金融云混合方式。對于私有數(shù)據(jù)不能出域的客戶，可以采用線下數(shù)據(jù)中心(IDC)與金融云混合的方式。企業(yè)在其內(nèi)部的IDC中構(gòu)建智能計(jì)算集群，部署大模型及應(yīng)用開發(fā)平臺。應(yīng)用的開發(fā)全程在IDC內(nèi)完成，并在IDC環(huán)境中部署運(yùn)行。在面對業(yè)務(wù)高峰或IDC資源緊張的情況下，企業(yè)可以采取靈活策略，將大模型擴(kuò)展到金融云的資源池中，實(shí)現(xiàn)流量的智能分配，將部分業(yè)務(wù)負(fù)載轉(zhuǎn)移到金融云上進(jìn)行高效的模型推理，以應(yīng)對高并發(fā)需求。同時(shí)，根據(jù)實(shí)際需要，可以選擇性地將微調(diào)數(shù)據(jù)遷移至金融云，利用其強(qiáng)大算力進(jìn)行模型的微調(diào)，進(jìn)一步優(yōu)化性能和服務(wù)能力。

混合云解決方案支持大模型在私有云和公共云之間無縫遷移和部署，用戶可以通過統(tǒng)一的云管理平臺對分布在不同環(huán)境下的計(jì)算資源進(jìn)行集中管理和調(diào)度，簡化運(yùn)維復(fù)雜性。在網(wǎng)絡(luò)互聯(lián)上，通過先進(jìn)的混合云網(wǎng)絡(luò)技術(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)的高速穩(wěn)定互聯(lián)。

我們來看一個(gè)實(shí)際的案例：某證券公司通過大模型將咨詢、公告、年報(bào)、研報(bào)、路演、業(yè)績通告視頻等多模態(tài)信息納入知識庫，滿足內(nèi)部分析師和機(jī)構(gòu)用戶的知識問答、觀點(diǎn)總結(jié)生成。應(yīng)用大模型準(zhǔn)確理解用戶搜索意圖并提供邏輯分析能力、歸納總結(jié)能力。

1、客戶線下IDC進(jìn)行大模型微調(diào)，對微調(diào)好后的模型在線下IDC和金融云兩套環(huán)境進(jìn)行模型部署；

2、業(yè)務(wù)調(diào)用時(shí)，分為兩種情況：

1）業(yè)務(wù)流程正常的情況下，直接使用線下IDC的資源，為業(yè)務(wù)提供在線推理服務(wù)。

2）當(dāng)業(yè)務(wù)流量高峰期間，如果線下IDC資源不足以應(yīng)對業(yè)務(wù)調(diào)用，采用分流的方式，將用戶請求調(diào)撥至金融云，從而實(shí)現(xiàn)高效的SLA保障。在這種調(diào)用方式下，考慮到私有數(shù)據(jù)不能出域的情況下，需要在線下IDC完成敏感信息處理工作，將脫敏后的內(nèi)容調(diào)用金融云上的大模型。

大模型的多樣性體現(xiàn)在多個(gè)方面，包括模型尺寸的多樣性、多模態(tài)、模型部署形態(tài)的多樣性、和應(yīng)用場景的適配性。為順應(yīng)不同場景用戶的需求，有不同參數(shù)規(guī)模橫跨5億到1100億的多款大語言模型。在模型的部署形態(tài)上，小尺寸模型可便捷地在手機(jī)、PC等端側(cè)設(shè)備部署。在應(yīng)用場景的適配性上，大尺寸模型如千億能支持企業(yè)級和科研級的應(yīng)用；中等尺寸如30B左右的在性能、效率和內(nèi)存占用之間找到最具性價(jià)比的平衡點(diǎn)。

正是因?yàn)榇竽Ｐ偷亩鄻有?，使得在具體的業(yè)務(wù)場景，可以采用大小模型相結(jié)合，既能充分利用大模型的優(yōu)點(diǎn)，又能保持成本效益。通過將任務(wù)分解，用大模型處理那些需要高準(zhǔn)確性的復(fù)雜分析，用小模型則快速處理那些對時(shí)效性要求高的任務(wù)。

以我們在財(cái)管領(lǐng)域的一個(gè)客戶為例，通過大模型來進(jìn)行問題規(guī)劃和任務(wù)分解，通過小模型來構(gòu)建各種Agent，實(shí)現(xiàn)了跟螞蟻支小寶相似的效果。通過大小模型相結(jié)合的方式，既滿足了需要，也降低應(yīng)用成本。

大小模型相結(jié)合構(gòu)建理財(cái)機(jī)器人

 要素4：安全性與合規(guī)性

2023 年 8 月 15 日，國家網(wǎng)信辦聯(lián)合國家發(fā)展改革委、教育部、科技部、工業(yè)和信息化 部、公安部、廣電總局公布《生成式人工智能服務(wù)管理暫行辦法》開始正式施行，辦法對大模型訓(xùn)練數(shù)據(jù)、數(shù)據(jù)標(biāo)注、內(nèi)容生成規(guī)范、內(nèi)容生成標(biāo)識、算法備案機(jī)制、監(jiān)督和責(zé)任都提供了相應(yīng)的指引和要求。

生成式人工智能的安全管理需要貫穿產(chǎn)品的全生命周期，包括模型訓(xùn)練、服務(wù)上線、內(nèi)容生成、內(nèi)容傳播各階段。

●    在模型訓(xùn)練階段，奠定了模型的能力基礎(chǔ)，也決定了模型自身的安全性；這個(gè)階段會涉及到數(shù)據(jù)和模型，不會和用戶發(fā)生關(guān)聯(lián)。相應(yīng)的風(fēng)險(xiǎn)治理工作包括：訓(xùn)練數(shù)據(jù)的篩選和過濾、模型安全評測、模型對齊與內(nèi)生安全增強(qiáng)、算法機(jī)制機(jī)理審核。

●    在算法服務(wù)上線階段，服務(wù)提供者需要選擇安全有效的模型作為基座構(gòu)建完整的算法服務(wù)。在這個(gè)階段并不涉及模型的訓(xùn)練、使用的數(shù)據(jù)，但是會決定對模型的核驗(yàn)、對模型的使用方式、調(diào)用的工具集等。

●    在內(nèi)容生成階段，大模型生成的內(nèi)容是用戶和模型交互的結(jié)果。用戶的輸入，以及模型對用戶之前輸入的反饋，都影響到模型當(dāng)前的生成。用戶使用生成式人工智能服務(wù)的目的、是否主觀上給出惡意輸出和誘導(dǎo)，很大程度上決定了模型輸出內(nèi)容的安全性。

●    在內(nèi)容傳播階段，內(nèi)容的傳播方式和途徑、范圍是風(fēng)險(xiǎn)的決定性因素之一。在傳播環(huán)節(jié)出現(xiàn)的風(fēng)險(xiǎn)，需要建立相應(yīng)的風(fēng)險(xiǎn)治理技術(shù)手段和工作機(jī)制。

在整個(gè)產(chǎn)品的全生命周期中，其中的模型安全和內(nèi)容安全是兩個(gè)最關(guān)鍵的點(diǎn)。模型安全關(guān)乎技術(shù)底層的堅(jiān)固與防御能力，是支撐系統(tǒng)運(yùn)行的根基；而內(nèi)容安全則側(cè)重于對外交互的信息質(zhì)量與合法性，是保障用戶體驗(yàn)和社會影響的表層防護(hù)。兩者相輔相成，共同構(gòu)建AI產(chǎn)品全生命周期的安全體系。

模型安全：通過自動(dòng)發(fā)現(xiàn)大模型有害的行為（red teaming）和安全增強(qiáng)（Safety Enhancement）來不斷增強(qiáng)模型安全。

內(nèi)容安全：采用知識計(jì)算的風(fēng)險(xiǎn)防控模式（采用人機(jī)協(xié)同的方式定義計(jì)算框架），主要涉及到數(shù)據(jù)層、知識層、算子層三個(gè)層面的能力。

●    數(shù)據(jù)層匯聚了涉及內(nèi)容風(fēng)險(xiǎn)的原始數(shù)據(jù)，以及針對不同風(fēng)險(xiǎn)領(lǐng)域精煉加工的結(jié)構(gòu)化數(shù)據(jù)；

●    知識層包含預(yù)訓(xùn)練模型和知識圖譜，預(yù)訓(xùn)練模型用于實(shí)現(xiàn)對通用數(shù)據(jù)的歸納，知識圖譜實(shí)現(xiàn)對風(fēng)控專業(yè)知識的組織與沉淀，解決知識碎片化、數(shù)據(jù)獲取難的問題；

●    算子層拆解出目標(biāo)更明確的簡單任務(wù)，構(gòu)建端到端的神經(jīng)算子，實(shí)現(xiàn)風(fēng)險(xiǎn)復(fù)雜判定邏輯簡化解耦。

大模型的合規(guī)性關(guān)乎遵守相關(guān)法律、法規(guī)和內(nèi)部政策，確保大模型的應(yīng)用不違反任何法律規(guī)定，并保護(hù)消費(fèi)者的利益。

數(shù)據(jù)隱私與保護(hù)，語言大模型的主要功能是模擬人類的思維活動(dòng)方式生成人類可以理解和使用的內(nèi)容，模型的訓(xùn)練對語料庫這一類知識性內(nèi)容有強(qiáng)烈的需求，但不依賴和使用用戶行為數(shù)據(jù)。

透明度和可解釋性，金融等行業(yè)的監(jiān)管機(jī)構(gòu)要求理解AI模型的決策過程，尤其在關(guān)系到重大決定如貸款審批或保險(xiǎn)索賠時(shí)。因此提高模型的透明度和可解釋性是一個(gè)重要的合規(guī)要求。

偏見和公平，消除這些偏見并確保模型對所有人群公平是模型合規(guī)性的重要部分。

持續(xù)監(jiān)管和審計(jì)，合規(guī)性不是一次性的任務(wù)，而是需要持續(xù)監(jiān)管和審計(jì)。金融機(jī)構(gòu)等需要確保使用的大模型在整個(gè)生命周期內(nèi)都符合監(jiān)管要求，并能適應(yīng)法規(guī)的變化。

大模型的合規(guī)性是一個(gè)多層面的、涉及多個(gè)利益相關(guān)者的挑戰(zhàn)，需要綜合技術(shù)、法律和道德考慮來處理。金融機(jī)構(gòu)在使用大模型時(shí)需要密切關(guān)注相關(guān)法律法規(guī)的發(fā)展，并且可能需要專門的法律和技術(shù)專家團(tuán)隊(duì)來確保模型遵循所有適用的合規(guī)要求。

要素5：準(zhǔn)確性與嚴(yán)肅性

大模型的“準(zhǔn)確性”與“嚴(yán)肅性”是兩個(gè)評估模型性能和適用性的關(guān)鍵維度，特別是在涉及專業(yè)場景和重要決策時(shí)尤為重要。

準(zhǔn)確性是衡量大模型輸出結(jié)果與預(yù)期目標(biāo)或?qū)嶋H情況相符的程度。模型在處理給定任務(wù)時(shí)，例如回答問題、分類文檔、翻譯文本或者識別圖像時(shí)，其輸出與真實(shí)答案或標(biāo)準(zhǔn)標(biāo)簽的匹配程度。嚴(yán)肅性在大模型的語境下，更多指模型生成內(nèi)容的專業(yè)性、可靠性、責(zé)任性和道德規(guī)范性。在金融這個(gè)高度專業(yè)化和監(jiān)管嚴(yán)格的領(lǐng)域，大模型產(chǎn)出的信息必須是經(jīng)過嚴(yán)格篩選、無誤導(dǎo)性且遵循行業(yè)規(guī)范的。嚴(yán)肅性還包括模型不得濫用或傳播不實(shí)、不恰當(dāng)或有害的信息。

為了保證大模型的準(zhǔn)確性和嚴(yán)肅性，不僅要在技術(shù)層面提升模型的泛化能力和知識完備性，還要在訓(xùn)練數(shù)據(jù)、模型設(shè)計(jì)、后處理步驟等方面進(jìn)行嚴(yán)格控制，并結(jié)合領(lǐng)域?qū)＜抑R、實(shí)時(shí)監(jiān)控和用戶反饋進(jìn)行持續(xù)優(yōu)化和修正。同時(shí)，對于可能出現(xiàn)的倫理和社會影響問題，也要有相應(yīng)的政策和機(jī)制來預(yù)防和應(yīng)對。

下面是某證券公司的實(shí)施案例：

1、構(gòu)建知識庫：基于咨詢信息、專業(yè)內(nèi)容、投教百科研報(bào)、投研框架、指標(biāo)信息等，構(gòu)建基礎(chǔ)投研知識庫。并將以往歷史問答、專家經(jīng)驗(yàn)以投研框架的方式進(jìn)行回流，實(shí)現(xiàn)持續(xù)性的知識生產(chǎn)和知識庫運(yùn)營。

2、知識加工：將各種知識，經(jīng)過以下的步驟進(jìn)行處理，文本分段（chunking）、類目標(biāo)簽、實(shí)體抽取、質(zhì)量分、向量表示、item的時(shí)效性等，形成相應(yīng)的向量。

3、知識檢索：用戶的query進(jìn)來，經(jīng)過Query改寫、向量召回和相關(guān)性模型打分等幾個(gè)步驟，把得分高的知識送到大模型。

4、觀點(diǎn)打分：對與大模型生成觀點(diǎn)，由專家進(jìn)行打分。作為RLHF的訓(xùn)練樣本，從而不斷優(yōu)化模型。

要素6：開放性與兼容性

金融級AI原生開放性的核心，在于確保安全合規(guī)的基礎(chǔ)之上，借助先進(jìn)的技術(shù)架構(gòu)與廣泛的生態(tài)合作力量，驅(qū)動(dòng)金融服務(wù)向智能化方向轉(zhuǎn)型升級，加快創(chuàng)新步伐，滿足日益增長的市場需求。而大模型的開源實(shí)踐，則成為了實(shí)現(xiàn)這一開放性愿景最為直接且高效的戰(zhàn)略路徑。

開源對于創(chuàng)新活力、產(chǎn)業(yè)生態(tài)、行業(yè)發(fā)展、模型優(yōu)化都具有重大意義。開源模型可以降低技術(shù)門檻，使得更多的研究者和開發(fā)者能夠訪問最先進(jìn)的AI工具，受到啟發(fā)，提升創(chuàng)新活力。開源大模型通過社區(qū)的方式，吸引開發(fā)者和研究人員共同改進(jìn)模型，以及在模型的基礎(chǔ)上構(gòu)建各種工具，推動(dòng)模型的深度應(yīng)用，打造產(chǎn)業(yè)生態(tài)。促進(jìn)行業(yè)發(fā)展，一方面，企業(yè)間開放共享可以減少重復(fù)開發(fā)相同功能的模型所浪費(fèi)的資源，使得企業(yè)能夠集中精力在差異性的研究上；另一方面，開源允許任何人在代碼級別檢查模型的行為和性能，增強(qiáng)了大模型的代碼透明度。最后，開源社區(qū)的使用者往往具有較高的技術(shù)水平，開源模型可以讓企業(yè)獲得來自社區(qū)的寶貴反饋，有助于改進(jìn)模型的性能和功能。

通過開源模型+商業(yè)版模型組合方式的積極實(shí)踐，得益于開源社區(qū)的生態(tài)支持和開發(fā)者反饋，使得模型可以在性能及能力上不斷優(yōu)化和增強(qiáng)，另外商業(yè)版模型提供了持續(xù)的技術(shù)支持與咨詢服務(wù)，以及企業(yè)級的安全與隱私保護(hù)，所以金融企業(yè)在商業(yè)化大模型應(yīng)用時(shí)，往往采購商業(yè)版本的基礎(chǔ)模型。

大模型相較于傳統(tǒng)深度學(xué)習(xí)模型，在規(guī)模上實(shí)現(xiàn)了顯著的擴(kuò)容，隨之而來的是對計(jì)算資源的大幅增長需求。在各種GPU資源出現(xiàn)時(shí)，推理平臺能兼容各種芯片，成為了亟待解決的基本問題。與此同時(shí)，開源領(lǐng)域的創(chuàng)新勢頭迅猛，不僅涌現(xiàn)出Llama、Qwen、Mistral/Mixtral、ChatGLM、Falcon等諸多新型模型，還在模型優(yōu)化方面不斷突破，例如發(fā)展出有損與無損的Attention算法、多種量化技術(shù)革新、投機(jī)采樣及LookAhead等新穎采樣策略，要能適應(yīng)算法的更新發(fā)展。推理層面上，主流的推理框架如vLLM、HuggingFace TGI (Text Generation Inference)、FasterTransformer以及DeepSpeed，引領(lǐng)了推理特性的新變革，對推理提出了新的要求。

針對上述挑戰(zhàn)，一個(gè)綜合模型、系統(tǒng)、集群與應(yīng)用層面的協(xié)同優(yōu)化、兼容異構(gòu)GPU、各種大模型、推理框架的平臺顯得尤為重要，旨在實(shí)現(xiàn)卓越的性能與成本效益比。

模型層面：MQA（Multi Query Attention）和GQA（Group-Query Attention）是許多大模型推理優(yōu)化的核心探索方向，以及模型的MOE（Mixture-of-Experts）架構(gòu)。

系統(tǒng)層面：聚焦于高性能計(jì)算算子的開發(fā)，優(yōu)化模型并行執(zhí)行、顯存管理與執(zhí)行框架，同時(shí)強(qiáng)化請求調(diào)度能力，確保系統(tǒng)運(yùn)行的高效與流暢。

集群層面：通過智能的請求調(diào)度機(jī)制，最大化集群處理能力，有效整合異構(gòu)資源，提升資源利用率至最優(yōu)狀態(tài)。

應(yīng)用層面：深入分析LLM的工作負(fù)載特性，將Prompt緩存等針對性優(yōu)化措施融入系統(tǒng)設(shè)計(jì)，進(jìn)一步增強(qiáng)應(yīng)用的響應(yīng)速度與用戶體驗(yàn)。

構(gòu)建金融級AI原生的藍(lán)圖

AI原生，特別是大模型的發(fā)展對資源管理與調(diào)度、訓(xùn)練、推理提出了全方位的新要求。首先，在資源管理與調(diào)度層面，由于大模型訓(xùn)練所需的計(jì)算資源量龐大且計(jì)算密集，要求系統(tǒng)具備高效能計(jì)算資源的精細(xì)化管理和動(dòng)態(tài)調(diào)度能力，以適應(yīng)大規(guī)模訓(xùn)練任務(wù)和異構(gòu)硬件環(huán)境。這包括合理分配和調(diào)整計(jì)算資源、優(yōu)化存儲策略以降低存儲成本和提高數(shù)據(jù)訪問效率、支持異構(gòu)計(jì)算、實(shí)現(xiàn)彈性伸縮以應(yīng)對任務(wù)需求變化，以及關(guān)注能源效率以實(shí)現(xiàn)綠色計(jì)算。

其次，在模型訓(xùn)練環(huán)節(jié)，大模型訓(xùn)練需要強(qiáng)大的大規(guī)模分布式訓(xùn)練能力，妥善處理數(shù)據(jù)并行、模型并行、流水線并行等策略下的通信開銷與數(shù)據(jù)同步問題，確保訓(xùn)練的穩(wěn)定性和收斂速度。同時(shí)，混合精度訓(xùn)練、自適應(yīng)學(xué)習(xí)率調(diào)整技術(shù)的應(yīng)用有助于降低計(jì)算和內(nèi)存開銷，提高訓(xùn)練效率。對于超大規(guī)模模型，模型并行化與規(guī)?；囊笫沟媚Ｐ图軜?gòu)設(shè)計(jì)、通信優(yōu)化、梯度聚合等方面面臨更高挑戰(zhàn)。

最后，在推理階段，大模型應(yīng)用對實(shí)時(shí)性、低延遲響應(yīng)有嚴(yán)格要求，推理系統(tǒng)需配備高效的推理引擎，通過模型優(yōu)化、硬件加速等手段減少推理時(shí)間。推理服務(wù)化與部署靈活性是另一重要需求，要求模型易于部署到多種環(huán)境并支持服務(wù)化接口，同時(shí)具備模型版本管理、灰度發(fā)布等運(yùn)維功能。

金融級AI原生的平臺架構(gòu)

金融級AI原生的平臺架構(gòu)分為：智算設(shè)施、智算平臺、模型服務(wù)和應(yīng)用服務(wù)等4個(gè)領(lǐng)域。

智算設(shè)施（IaaS）：提供大模型所需的底層計(jì)算資源和基礎(chǔ)架構(gòu)的服務(wù)層，這些資源包括但不限于服務(wù)器、存儲、網(wǎng)絡(luò)以及相關(guān)的數(shù)據(jù)中心設(shè)施。對于運(yùn)行大模型來說，IaaS層提供了彈性伸縮性、靈活、高可靠性和安全性的基礎(chǔ)設(shè)施解決方案，可以大幅簡化模型開發(fā)和部署的過程，加快創(chuàng)新速度。

智算平臺（PaaS）：提供資源調(diào)度與任務(wù)管理、訓(xùn)練框架、推理框架以及數(shù)據(jù)服務(wù)。資源調(diào)度與任務(wù)管理通過拓?fù)涓兄{(diào)度、多級配額資源模型、多種隊(duì)列策略、配額間資源共享等一系列核心能力，讓物理算力集群利用率逼近理論上限。模型訓(xùn)練包括訓(xùn)練快照、訓(xùn)練時(shí)自動(dòng)容錯(cuò)和作業(yè)的重啟、訓(xùn)練加速等功能。推理框架提供了模型兼容、推理加速、推理對抗和推理監(jiān)控等一系列功能。數(shù)據(jù)服務(wù)提供了向量數(shù)據(jù)庫、圖數(shù)據(jù)庫和云原生數(shù)據(jù)庫等數(shù)據(jù)服務(wù)。

模型服務(wù)（MaaS）：一站式大模型生產(chǎn)平臺，提供從大模型開發(fā)、訓(xùn)練到應(yīng)用的全套解決方案。

全鏈路的模型訓(xùn)練及評估工具：全鏈路模型服務(wù)覆蓋數(shù)據(jù)管理、模型訓(xùn)練、評估和部署等關(guān)鍵環(huán)節(jié)。數(shù)據(jù)管理整合了離線和在線數(shù)據(jù)集，確保訓(xùn)練數(shù)據(jù)的質(zhì)量和完備性。模型訓(xùn)練允許用戶選擇各類開源大模型、多模態(tài)模型，并通過透明化工具監(jiān)控模型狀態(tài)。模型評估提供多種資源，包括單模型和多模型對比，以對標(biāo)行業(yè)標(biāo)準(zhǔn)。并提供一鍵化的模型部署功能。

集成豐富多樣的應(yīng)用工具：強(qiáng)調(diào)了開箱即用的特性，包括預(yù)置檢索增強(qiáng)、流程編排、Prompt模板應(yīng)用、插件中心支持接入企業(yè)系統(tǒng)、

基于大模型快速構(gòu)建業(yè)務(wù)應(yīng)用agent：智能體中心，并為企業(yè)和開發(fā)者提供智能體API的調(diào)用。其中，智能體應(yīng)用包含支持RAG、分析、創(chuàng)作等鏈路。同時(shí)，為保持開放性，整合并優(yōu)化了開源框架如LlamaIndex，提供封裝的原子級服務(wù)和SDK。插件中心預(yù)設(shè)了多樣插件，并支持企業(yè)和開發(fā)者自定義插件，以提升大模型的調(diào)用效率。

應(yīng)用服務(wù)（SaaS）：在應(yīng)用層上，考慮到金融領(lǐng)域的多方位需求，將應(yīng)用劃分為兩大類別以實(shí)現(xiàn)廣泛適用性與行業(yè)特異性。一類是通用應(yīng)用場景，跨越整個(gè)金融行業(yè)，涵蓋諸如智能客服來提升服務(wù)體驗(yàn)、智能營銷以增強(qiáng)市場觸達(dá)，以及工作助手以提高日常辦公效率。另一類則專注于金融細(xì)分市場的獨(dú)特需求，例如銀行業(yè)專注于信貸報(bào)告自動(dòng)化生成與嚴(yán)謹(jǐn)?shù)暮弦?guī)性審查；證券業(yè)則側(cè)重投資研究與顧問服務(wù)的智能化；而在保險(xiǎn)業(yè)，致力于通過“保險(xiǎn)數(shù)字生產(chǎn)力”提升業(yè)務(wù)效能，具體體現(xiàn)為智能核保流程的優(yōu)化以及代理人培訓(xùn)系統(tǒng)的智能化。

智能客服：大模型憑借其強(qiáng)大的自然語言理解和生成能力，可以作為智能客服系統(tǒng)的核心組件，提供24/7全天候在線服務(wù)。用于客戶的咨詢、外呼和客戶交互過程中，識別客戶意圖，進(jìn)行更好的、貼心的服務(wù)。

智能營銷：大模型能夠根據(jù)不同的客戶群體特征和營銷目標(biāo)，自動(dòng)生成具有吸引力的營銷文案、廣告創(chuàng)意、郵件推送、營銷視頻等個(gè)性化內(nèi)容。

工作助手：大模型可以集成到日常工作中，提供咨詢服務(wù)、編程輔助服務(wù)、數(shù)據(jù)分析、內(nèi)部公共助手、以及用于法律法規(guī)方面的審核工作，在減輕員工負(fù)擔(dān)的同時(shí)，也可以提升工作效率。比如，知識助手、開發(fā)助手、用數(shù)助手、會議助手和審查助手。

信貸報(bào)告生成：大模型能夠自動(dòng)讀取和整合來自多個(gè)來源的數(shù)據(jù)，包括財(cái)務(wù)報(bào)表、征信記錄、市場數(shù)據(jù)等，進(jìn)行快速而全面的信息分析。這不僅限于數(shù)值數(shù)據(jù)，也包括文本信息，如征信報(bào)告、企業(yè)年報(bào)、行業(yè)報(bào)告等，從而形成一個(gè)綜合的信用視圖。

合規(guī)審核：大模型可以被訓(xùn)練來識別和分析各類交易、合同、報(bào)告中的合規(guī)風(fēng)險(xiǎn)點(diǎn)。通過模式識別和自然語言處理技術(shù)，模型能夠迅速掃描文檔，比對監(jiān)管要求，自動(dòng)標(biāo)記潛在的不合規(guī)內(nèi)容。

投研投顧：在投資研究領(lǐng)域，大模型能夠分析海量的經(jīng)濟(jì)數(shù)據(jù)、新聞報(bào)道、社交媒體情緒等信息，輔助投資者識別市場趨勢，為投資策略提供數(shù)據(jù)支持。在投顧領(lǐng)域，大模型能根據(jù)個(gè)人投資者的風(fēng)險(xiǎn)偏好、資產(chǎn)狀況和投資目標(biāo)，提供定制化的投資建議，優(yōu)化資產(chǎn)配置，提升投資組合的表現(xiàn)。

保險(xiǎn)數(shù)字生產(chǎn)力：通過分析保險(xiǎn)申請中的文本描述、圖片，大模型能基于保險(xiǎn)規(guī)則，自動(dòng)判斷核保申請，輔助保險(xiǎn)員加速申請審核流程，提升客戶滿意度。保險(xiǎn)公司利用大模型創(chuàng)建“數(shù)字員工”，來模擬不同的角色，幫助代理人快速上崗，提升工作效率。 

金融級AI原生應(yīng)用實(shí)踐

1、應(yīng)用場景與技術(shù)架構(gòu)選型

知識密集型數(shù)字化應(yīng)用

金融行業(yè)因其高度的專業(yè)性和對精確度的嚴(yán)格要求，成為一個(gè)知識密集型的領(lǐng)域。它涵蓋了廣泛的子領(lǐng)域，包括銀行業(yè)務(wù)、投資、保險(xiǎn)、資產(chǎn)管理等，每個(gè)領(lǐng)域都有其獨(dú)特的術(shù)語、規(guī)則和業(yè)務(wù)流程。在銀行行業(yè)，理財(cái)產(chǎn)品經(jīng)理需要在充分理解監(jiān)管合規(guī)政策的前提下，設(shè)計(jì)有市場競爭力的產(chǎn)品；在證券行業(yè)，投研人員需要閱讀大量的研報(bào)和資訊，做出對市場的判斷，給客戶提供有價(jià)值的投資建議；在保險(xiǎn)行業(yè)，大量復(fù)雜的核保/核賠規(guī)則，業(yè)務(wù)員需要熟記于心并在展業(yè)時(shí)能高效查閱。

而大語言模型作為一個(gè)參數(shù)化的知識容器，其最突出的能力就是構(gòu)建世界模型、理解人類知識，并以自然語言的方式進(jìn)行交互。大模型通過學(xué)習(xí)廣泛的語料，能夠積累和反映不同領(lǐng)域的知識，包括金融行業(yè)特有的概念、術(shù)語和邏輯關(guān)系。這使得大模型能夠在上述金融行業(yè)各類知識密集型場景中，提供自然語言理解和生成、知識檢索與問答、信息總結(jié)摘要等能力。

以保險(xiǎn)行業(yè)為例，核保是一個(gè)非常重要的業(yè)務(wù)流程，保司有大量的業(yè)務(wù)員在外面做拓客，為C端用戶設(shè)計(jì)保險(xiǎn)方案。在這個(gè)過程中，還有一類角色叫核保員，在投保階段幫助業(yè)務(wù)員判斷是否能出保單，并給出建議方案。這里面涉及到大量的核保規(guī)則業(yè)務(wù)知識，我們希望能讓大模型學(xué)會理解這些并運(yùn)用在業(yè)務(wù)流程當(dāng)中，提高核保員工作效率。

典型的用大模型來重構(gòu)核保的業(yè)務(wù)流程，如上圖示意：

原始核保規(guī)則：核保規(guī)則源于保險(xiǎn)公司內(nèi)部的核保政策，有集團(tuán)級別的、每個(gè)省市分公司也有自己特定的規(guī)則，需結(jié)合起來用，這是核保決策的依據(jù)。這類知識的特點(diǎn)是，內(nèi)容多、邏輯復(fù)雜、還有很多行業(yè)術(shù)語，一般核保員上崗后學(xué)習(xí)6個(gè)月，才能開展核保業(yè)務(wù)。

大模型核保知識構(gòu)建：核保政策的格式和來源非常多樣，有pdf、word，甚至是某分公司發(fā)的一封全員郵件。這些知識需要被構(gòu)建成一種層次化的知識體系，便于更新、維護(hù)，以及被大模型理解與應(yīng)用。在業(yè)務(wù)流程中，大模型需要從與業(yè)務(wù)員的對話中提取出核保要素，例如：年齡、地域、工種。當(dāng)要素不完備時(shí)，以反問等方式讓業(yè)務(wù)員提供，直到收集完整下一步推理決策所需信息。

大模型推理決策：基于上一步構(gòu)建的知識，大模型進(jìn)行不同的邏輯處理。簡單分有三種：a）準(zhǔn)入性判斷，一些關(guān)鍵要素若不符合，可直接拒保；b）條件性推理，依據(jù)各種核保規(guī)則，逐條檢查客戶提供的要素是否滿足；c）推薦投保方案，若有不符合的要素，大模型給業(yè)務(wù)員調(diào)整的建議，改變核保要素，直至承保。

在上述業(yè)務(wù)流程重構(gòu)過程中，面臨最大的兩個(gè)技術(shù)挑戰(zhàn)是：核保規(guī)則量多質(zhì)差、推理邏輯復(fù)雜。因此，在方案上采用金融知識增強(qiáng)+Multi-Agents框架來解決，如下圖所示：

金融知識增強(qiáng)：原始核保政策來源非常多，上千頁的Word、復(fù)雜單元格結(jié)構(gòu)的Excel、甚至是一封核保政策調(diào)整的郵件。面對此類多源異構(gòu)數(shù)據(jù)，需要先做格式和內(nèi)容的治理，形成一種分類、分級、分塊的立體化通用知識表示，便于長期維護(hù)更新，以及被下游大模型Agent理解與使用。在過程中，還需要引入金融領(lǐng)域?qū)Ｓ兄R做增強(qiáng)，例如：對行業(yè)和工種的分級分類、專對保單版面的內(nèi)容識別算法。

Multi-Agents分治：在試驗(yàn)過程中我們發(fā)現(xiàn)，大模型的能力也是有上限的，面對的知識太多或規(guī)則太復(fù)雜，也會有不穩(wěn)定輸出的情況。因此在通用知識表示之上，按任務(wù)類型把整個(gè)核保過程拆解到不同角色的Agent上完成，并由中控協(xié)調(diào)Agent統(tǒng)一協(xié)調(diào)和路由。最終面向業(yè)務(wù)員，大模型扮演“核保員”，以多輪會話的方式提提供推理決策和承保方案推薦。

全鏈路數(shù)字化應(yīng)用

大模型在金融業(yè)務(wù)的全流程中扮演了重要角色，其支撐作用體現(xiàn)金融行業(yè)的不同業(yè)務(wù)場景。如客戶服務(wù)與關(guān)懷方面，大模型能夠提供24小時(shí)不間斷的客戶服務(wù)，包括咨詢解答、產(chǎn)品介紹、客戶關(guān)懷、投訴處理等，提升用戶體驗(yàn)。 風(fēng)險(xiǎn)管理與信貸評估方面，大模型幫助金融機(jī)構(gòu)進(jìn)行信用報(bào)告生成、欺詐檢測和風(fēng)險(xiǎn)評估，提高貸款審批的準(zhǔn)確性和效率，減少人為錯(cuò)誤和潛在的信用風(fēng)險(xiǎn)。精準(zhǔn)營銷與客戶洞察方面，創(chuàng)造多樣化、創(chuàng)新且風(fēng)格連貫的跨媒體營銷內(nèi)容變得輕松自如，這包括社交媒體帖文、廣告標(biāo)語、宣傳海報(bào)、創(chuàng)意視頻劇本等，確保每項(xiàng)內(nèi)容都能精準(zhǔn)對接目標(biāo)受眾。通過對客戶數(shù)據(jù)的深度分析，大模型能夠構(gòu)建精準(zhǔn)的用戶畫像，幫助金融機(jī)構(gòu)設(shè)計(jì)個(gè)性化營銷策略，提升營銷活動(dòng)的轉(zhuǎn)化率和客戶滿意度。投資咨詢與資產(chǎn)管理方面，大模型能夠分析市場數(shù)據(jù)、新聞資訊和經(jīng)濟(jì)指標(biāo)，生成投資建議和資產(chǎn)配置方案，輔助投資者做出決策。對于機(jī)構(gòu)投資者，它還能提供復(fù)雜的財(cái)務(wù)模型分析和投資策略優(yōu)化。自動(dòng)搜集、整理并分析大量研究報(bào)告、公司公告和宏觀經(jīng)濟(jì)數(shù)據(jù)，為分析師和投資者生成深度研究報(bào)告，提高研究質(zhì)量和速度。運(yùn)營優(yōu)化與自動(dòng)化方面，在后臺運(yùn)營中，大模型可以自動(dòng)化處理交易結(jié)算、合規(guī)審查、文檔管理等工作，減少人工操作，提升運(yùn)營效率并降低成本。

風(fēng)控作為金融的基石，正遭遇多元化的挑戰(zhàn)，這些挑戰(zhàn)隨技術(shù)演進(jìn)、市場波動(dòng)及欺詐策略的迭代而日新月異。以下是當(dāng)前尤為突出的幾個(gè)難題：

1.    業(yè)務(wù)冷啟動(dòng)沒經(jīng)驗(yàn)，上線周期長：新業(yè)務(wù)上線，缺少相關(guān)的冷啟動(dòng)經(jīng)驗(yàn)和數(shù)據(jù)。上線周期長，容易錯(cuò)過商機(jī)。

2.    風(fēng)險(xiǎn)變化快，風(fēng)險(xiǎn)決策響應(yīng)慢：數(shù)據(jù)分析周期慢，業(yè)務(wù)人員給技術(shù)人員提需求經(jīng)常需要等排期。策略/模型構(gòu)建和迭代周期慢，無法跟上快速變化的風(fēng)險(xiǎn)

3.    模型的敏捷性與深度構(gòu)建：金融市場瞬息萬變，欺詐手段層出不窮，要求風(fēng)控模型不僅要具備高度的適應(yīng)力和靈活性，還需迅速掌握新興風(fēng)險(xiǎn)模式，同時(shí)維持對既有風(fēng)險(xiǎn)的嚴(yán)密監(jiān)控。這一挑戰(zhàn)促使模型復(fù)雜度與更新速度的需求不斷攀升。

通過大模型的風(fēng)控多agent體系，可以很好縮短風(fēng)險(xiǎn)決策周期，提升風(fēng)控人效，響應(yīng)快速變化的風(fēng)險(xiǎn)。

智能策略助手集成了專家的風(fēng)控策略知識庫，可以幫助業(yè)務(wù)實(shí)現(xiàn)快速冷啟動(dòng)。通過自然語言的形式，可以輕松進(jìn)行策略分析、上線測試、部署和生成報(bào)告，及時(shí)響應(yīng)快速變化的風(fēng)險(xiǎn)環(huán)境。

智能數(shù)據(jù)助手通過內(nèi)嵌的報(bào)表知識以及NL2SQL能力，使得用戶無需復(fù)雜的編程過程，只需通過自然語言的交互就能快速構(gòu)建所需的報(bào)表，進(jìn)行指標(biāo)查找和數(shù)據(jù)診斷。

智能建模助手提供建模功能、深度變量分析報(bào)告和一鍵部署功能，能夠大大提升工作效率和模型的準(zhǔn)確性。

多模態(tài)數(shù)字化應(yīng)用

隨著大模型技術(shù)的高速發(fā)展，尤其OpenAI發(fā)布“Sora”后，加速從自然語言向多模態(tài)大模型的演進(jìn)。多模態(tài)大模型不僅能夠進(jìn)行圖像、視頻的要素識別和場景提取，還可以根據(jù)提取的信息創(chuàng)作出更多原創(chuàng)圖片和視頻；同時(shí)多模態(tài)在語音上支持人機(jī)交互語言接口，不需要轉(zhuǎn)文字，就可以在語境中識別復(fù)雜和抽象概念，加速智能客服擬人化服務(wù)和定制化服務(wù)效果。多模態(tài)大模型已經(jīng)開始在各種業(yè)務(wù)領(lǐng)域進(jìn)行探索，例如：智能催收、智能客服、智能推薦和智能運(yùn)營等領(lǐng)域，隨著多模態(tài)大模型與業(yè)務(wù)創(chuàng)新場景的持續(xù)性融合，展現(xiàn)其更高的用戶粘性和商業(yè)價(jià)值，必將開啟了企業(yè)構(gòu)建多模態(tài)數(shù)字化應(yīng)用的新時(shí)代。

智能提醒：企業(yè)通過多模態(tài)大模型，將外呼語音通話進(jìn)行識別和數(shù)據(jù)抽取，構(gòu)建用戶意圖和客服話術(shù)的知識庫，同時(shí)通過語音特征分析，識別用戶的個(gè)性化特征，并與用戶特征知識庫進(jìn)行比對和更新。在實(shí)時(shí)和離線語音交互過程中，通過規(guī)則質(zhì)檢和風(fēng)控，確保人工或機(jī)器人的回復(fù)符合領(lǐng)域規(guī)范，如果存在輿情風(fēng)險(xiǎn)，會提交人工復(fù)審，再進(jìn)行知識庫信息更新。如果符合規(guī)范，將進(jìn)入新一輪的智能語音交互，通過大模型判斷歷史交流的用戶意圖，結(jié)合用戶特征，進(jìn)行個(gè)性化語音話術(shù)播報(bào)（例如：方言定制化），直至達(dá)到本通外呼目的為止。

智能客服：企業(yè)可以通過多模態(tài)大模型，將語音客服、私域咨詢和售后交流的文字、圖片和視頻信息進(jìn)行識別和數(shù)據(jù)抽取，例如：將用戶提交的保單、病例等進(jìn)行識別和數(shù)字化，存儲到專屬客服知識庫和用戶特征知識庫，通過智能質(zhì)檢和風(fēng)控，確保提交和回復(fù)數(shù)據(jù)的準(zhǔn)確性和安全性。同時(shí)根據(jù)客戶意圖識別和個(gè)性化生成，滿足用需要的回復(fù)或報(bào)告，再根據(jù)用戶個(gè)性化特征生成專屬文字或語音和視頻回復(fù)，最后根據(jù)用戶評價(jià)和人工抽檢，收納知識語料。

智能推薦：根據(jù)企業(yè)業(yè)務(wù)場景和市場規(guī)劃目標(biāo)，通過多模態(tài)大模型快速生成文案，在公域或私域傳播，比如廣告語、微博文章、微信公眾號文章和抖音視頻等，同時(shí)與多模態(tài)圖片或視頻AI工具相結(jié)合，自動(dòng)生成宣傳海報(bào)、宣傳視頻等視覺內(nèi)容，提升營銷素材的生成效率。通過自然語言交互或私域數(shù)據(jù)運(yùn)營，為客戶提供個(gè)性化的產(chǎn)品推薦和購買建議。根據(jù)用戶特征數(shù)據(jù)分析客戶的需求、偏好、風(fēng)險(xiǎn)承受能力等信息，快速準(zhǔn)確地推薦適合客戶的產(chǎn)品，提高保險(xiǎn)銷售效率和客戶滿意度。

智能運(yùn)營：在企業(yè)和商戶私域運(yùn)營中，通過多模態(tài)數(shù)字化應(yīng)用方案能夠解決全鏈路高效運(yùn)營。在商戶入駐時(shí)，通過多模態(tài)場景和內(nèi)容識別能力，完成攤位門頭照自動(dòng)化審核，同時(shí)識別商戶和銷售商品及價(jià)格；在商戶運(yùn)營中，通過多模態(tài)識別和生成能力，進(jìn)行菜單初始化和商品效果圖生成，降低門檻和成本；在日常運(yùn)營中，通過多模態(tài)營銷文案、圖片和視頻的生成能力，根據(jù)時(shí)節(jié)定制化營銷文案和營銷海報(bào)，以及宣傳視頻等，增加商戶的收益和訂單成交量。

多模態(tài)數(shù)字化應(yīng)用基于企業(yè)外呼、客服、推薦、運(yùn)營等多模態(tài)業(yè)務(wù)場景，與多模態(tài)技術(shù)的豐富和靈活的AI服務(wù)進(jìn)行結(jié)合，快速實(shí)現(xiàn)業(yè)務(wù)效果。通常調(diào)用這類多模型API可以分為三步驟：準(zhǔn)備和優(yōu)化輸入提示（Prompt）、使用API進(jìn)行模型調(diào)用、處理和展示結(jié)果。

Prompt優(yōu)化：明確通過多模態(tài)大模型實(shí)現(xiàn)什么樣的任務(wù)，基于任務(wù)需求構(gòu)建有效的提示信息。對于文本任務(wù)，這可能意味著撰寫清晰、具體的指令或問題；對于圖像相關(guān)任務(wù)，則可能包括選擇適當(dāng)?shù)膱D像作為輸入。通過實(shí)驗(yàn)和反復(fù)測試，找到最能引導(dǎo)模型輸出期望結(jié)果的Prompt表達(dá)方式。調(diào)整文本提示的措辭或添加關(guān)鍵信息，改變圖像輸入的尺寸和質(zhì)量。

Assistant-API調(diào)用：

選擇API：確定適合你任務(wù)的API服務(wù)。不同的多模態(tài)大模型可能通過不同的API提供服務(wù)，選擇合適的API是關(guān)鍵。

準(zhǔn)備請求：遵循所選API的文檔準(zhǔn)備請求。這通常涉及設(shè)置合適的HTTP請求頭、選擇正確的API端點(diǎn)、準(zhǔn)備必要的認(rèn)證信息以及構(gòu)建請求體。

發(fā)送請求：將準(zhǔn)備好的請求發(fā)送給API服務(wù)。這可以通過編程方式使用HTTP客戶端庫或使用命令行工具完成。

處理響應(yīng)：對API返回的結(jié)果進(jìn)行處理。這可能包括解析JSON格式的響應(yīng)內(nèi)容、錯(cuò)誤處理以及轉(zhuǎn)換模型輸出以便進(jìn)一步使用。

結(jié)果召回展示：分析模型返回的數(shù)據(jù)，對結(jié)果進(jìn)行質(zhì)量評估。根據(jù)需要，可能還要進(jìn)行后處理，比如圖像的裁剪或調(diào)整大小，文本的清理等。將處理過的結(jié)果以用戶友好的方式展示出來。根據(jù)應(yīng)用場景，這可能包括在網(wǎng)頁上顯示生成的文本或圖像、在應(yīng)用程序內(nèi)部展示音頻播放控件等。

2、AI原生應(yīng)用實(shí)施路徑

大模型技術(shù)仍在飛速發(fā)展，國內(nèi)外大模型廠商的產(chǎn)品快速推陳出新，在商業(yè)化大模型和開源大模型社區(qū)，每個(gè)月、每周、甚至每天都有新的模型和框架出現(xiàn)。同時(shí)，算力資源短期內(nèi)將持續(xù)緊張，大規(guī)模應(yīng)用的鋪開，直接導(dǎo)致對模型推理資源的需求持續(xù)上漲，而金融機(jī)構(gòu)不僅要解決資源的供給問題，還需要持續(xù)提升算力的使用效率，支撐企業(yè)大模型場景的全面落地。

金融機(jī)構(gòu)一直是IT技術(shù)的先行者，在數(shù)字化轉(zhuǎn)型和技術(shù)創(chuàng)新方面不斷尋求突破。如何能跟上大模型技術(shù)的快速發(fā)展，不掉隊(duì)，客觀理解新技術(shù)，快速識別合適場景，驗(yàn)證大模型的技術(shù)與業(yè)務(wù)價(jià)值，成為了企業(yè)面臨的首要問題?！鞍亵礌幜?，奮楫者先”，我們提出一條可行的路徑，在解決算力資源短缺的同時(shí)，又能保障金融機(jī)構(gòu)用上最新的大模型技術(shù)，為業(yè)務(wù)與客戶帶去價(jià)值。

“云上試航”：快速完成大模型可行性與價(jià)值驗(yàn)證

大語言模型橫空出世，帶來的不僅僅是單點(diǎn)技術(shù)的創(chuàng)新，更是全套技術(shù)棧的革新。GPU服務(wù)器、大模型全周期管理平臺、推理加速框架、RAG知識增強(qiáng)、Multi-Agent智能體，這些新的事物在不停地刷新技術(shù)從業(yè)者的認(rèn)知。以上種種技術(shù)，要在客戶IDC完整搭建一套，難度極高成本極大，尤其是在大模型的價(jià)值尚未被完全驗(yàn)證與挖掘的前提下。

這個(gè)階段，金融云成為了企業(yè)的最佳選擇。算力層面，云廠商資源儲備充足，為客戶提供了多樣化的算力選擇，且彈性按需付費(fèi)；模型層面，主流云廠商不僅提供商業(yè)化大模型，還提供業(yè)界優(yōu)秀的開源大模型服務(wù)，客戶可按需自由選擇，以MaaS API的方式調(diào)用；平臺工具層面，更是為客戶提供了極大的選擇空間，從大模型全周期管理平臺到智能體應(yīng)用，從檢索引擎到向量數(shù)據(jù)庫，以上這些，企業(yè)都可以靈活組合使用，快速驗(yàn)證新技術(shù)的價(jià)值，避免前期無謂的投入和時(shí)間浪費(fèi)。

“小步快跑”：大模型應(yīng)用試點(diǎn)的選擇與落地

過去一年，大模型在金融機(jī)構(gòu)的應(yīng)用，也經(jīng)歷了快速的發(fā)展。最初期的嘗鮮者們，都從RAG知識問答場景開始，通過構(gòu)建企業(yè)級知識庫，引入大模型技術(shù)，充分感受其在語言理解與生成上的能力。隨著大模型自身變得更加成熟，以及從業(yè)者對大模型的技術(shù)掌控力增強(qiáng)，大模型的應(yīng)用已經(jīng)從最初的“問答機(jī)器人”，開始滲透到金融行業(yè)的核心業(yè)務(wù)流程當(dāng)中，并開始扮演Copilot（輔助駕駛）的角色，提升員工工作效率，提升客戶服務(wù)效果。

在銀行行業(yè)智能客服領(lǐng)域，大模型被用于識別客戶意圖和情緒，為客服人員提供話術(shù)輔助與推薦；在證券行業(yè)投研投顧領(lǐng)域，大模型被用于讀取海量的研報(bào)、資訊，以自然語言的方式提供觀點(diǎn)問答和內(nèi)容摘要等服務(wù)；在保險(xiǎn)行業(yè)核保領(lǐng)域，大模型被用于理解復(fù)雜的核保政策，針對客戶提交的材料做合規(guī)性審核與保險(xiǎn)計(jì)劃生成。這些被驗(yàn)證過的場景，都適合處于大模型建設(shè)初期的金融機(jī)構(gòu)作參考，選擇2-3個(gè)相對有容錯(cuò)性、投入產(chǎn)出比高的作為試點(diǎn)。

在這個(gè)階段，可暫不考慮太多平臺化的事情，宜采用“以用帶建”的思路，選定場景后，引入一個(gè)經(jīng)過驗(yàn)證的商業(yè)化大模型，提供持續(xù)穩(wěn)定的服務(wù)和安全合規(guī)方面的保障。工程上可以在大模型應(yīng)用層面，選擇輕量化的RAG、Agent產(chǎn)品，配合商業(yè)化大模型，對外提供MaaS API的調(diào)用以及Workflow編排能力，快速支撐業(yè)務(wù)場景的落地。

“平臺筑基”：建設(shè)LLMOps技術(shù)棧，實(shí)現(xiàn)中臺化管理

走過試點(diǎn)階段后，企業(yè)內(nèi)大模型應(yīng)用將會全面鋪開，這時(shí)就不再適合從某幾個(gè)應(yīng)用出發(fā)單獨(dú)建設(shè)了，技術(shù)團(tuán)隊(duì)需要在平臺層面做整體規(guī)劃，基于業(yè)界領(lǐng)先的LLMOps理念，圍繞大模型的構(gòu)建與應(yīng)用流程，構(gòu)建大模型全周期管理平臺，實(shí)現(xiàn)基礎(chǔ)能力的中臺化管理與服務(wù)，支撐大模型在多業(yè)務(wù)場景的快速落地。

具體來講，大模型全周期管理平臺主要包含兩個(gè)部分。模型中心，主要承載模型層面相關(guān)工作，語料管理、模型微調(diào)、推理加速、模型評測等；應(yīng)用中心，在模型之上，提供RAG知識庫、Multi-Agent框架、Prompt工程、Workflow編排等能力，支撐業(yè)務(wù)快速基于大模型的能力，構(gòu)建起應(yīng)用鏈路。

企業(yè)在小步快跑階段會使用一些主流開源框架做快速落地，例如：LlamaIndex、OpenAI的Assistants API。到了平臺化階段，不僅要考慮低代碼大模型開發(fā)范式的支持，同時(shí)要考慮全代碼開發(fā)范式，面向技術(shù)人員提供高效的開發(fā)與集成框架，并兼容主流開源框架，實(shí)現(xiàn)原有應(yīng)用的平滑遷移到平臺上。

“云端融合”：大模型混合云架構(gòu)，充分利用云上資源

隨著大模型應(yīng)用全面鋪開，場景從服務(wù)內(nèi)部為主，轉(zhuǎn)向直面外部C端客戶，對大模型推理資源的需求會呈指數(shù)級增加。從當(dāng)前大模型技術(shù)發(fā)展趨勢和落地案例來看，未來推理服務(wù)會成為大模型資源需求的絕對主力。

正如前文例子，部署一個(gè)72B大模型推理實(shí)例，需要3張A100（80G）的資源。當(dāng)業(yè)務(wù)上需要50并發(fā)時(shí)，需要的GPU卡的數(shù)量在200張左右A100（80G）。無論從供給資源還是采購成本來講，這都是一筆不小的成本。在這個(gè)階段，算力資源會再度成為制約企業(yè)全面擁抱AI大模型的瓶頸。通過構(gòu)建混合云架構(gòu)，在安全合規(guī)的前提下，把本地算力作為固定資源池，同時(shí)把云上充足的彈性資源使用起來，成為金融機(jī)構(gòu)在大模型時(shí)代的最佳選擇。

結(jié)語

正在本文截稿之時(shí)，OpenAI在春季新品發(fā)布會上搬出了新一代旗艦生成模型GPT-4o，一系列新的能力讓我們無比堅(jiān)信，AI大模型技術(shù)勢必會顛覆和重塑未來產(chǎn)品的形態(tài)。而當(dāng)大模型在金融行業(yè)落地，重塑金融企業(yè)應(yīng)用時(shí)，我們必須考慮金融行業(yè)獨(dú)特性的要求。在與眾多金融客戶進(jìn)行大模型應(yīng)用聯(lián)合共創(chuàng)之后，我們對金融客戶面臨的主要挑戰(zhàn)進(jìn)行了剖析，定義了金融級AI原生的藍(lán)圖和六大要素，并挑選了知識密集型、全鏈路數(shù)字化、多模態(tài)數(shù)字化等三類具備較大業(yè)務(wù)價(jià)值的場景，闡述其技術(shù)架構(gòu)的選擇和落地路徑，旨為金融企業(yè)的數(shù)智化創(chuàng)新提速。