經(jīng)濟(jì)觀察網(wǎng) 記者 老盈盈 顱內(nèi)胚胎性腫瘤是一種兒童常見(jiàn)的惡性腫瘤，香港中文大學(xué)外科學(xué)系神經(jīng)外科組主任陳達(dá)明過(guò)去做這種腦外科手術(shù)時(shí)，所用到的內(nèi)窺鏡是直的，因?yàn)椴荒苻D(zhuǎn)彎會(huì)有很多限制。另外，手術(shù)時(shí)會(huì)有兩條入腦的線，因此病人也會(huì)有兩個(gè)傷口。

2022年，一種名為柔性微創(chuàng)手術(shù)機(jī)器人的手術(shù)器械面世了。陳達(dá)明表示，該機(jī)器人輔助神經(jīng)外科手術(shù)，一條線入腦轉(zhuǎn)一個(gè)彎就可以完成此前的兩個(gè)步驟。即便在腦室裝著腦積水非常狹窄的位置，柔性微創(chuàng)手術(shù)機(jī)器人也已經(jīng)可以很靈活地進(jìn)行操作。

近日，陳達(dá)明在接受經(jīng)濟(jì)觀察網(wǎng)記者采訪時(shí)表示，采用柔性微創(chuàng)手術(shù)機(jī)器人的手術(shù)可以減少50%以上病人的腦部創(chuàng)傷。如今，AI手術(shù)大模型進(jìn)一步面世，可以精確識(shí)別腦部組織的位置，陳達(dá)明認(rèn)為在AI大模型的加持下，未來(lái)柔性微創(chuàng)手術(shù)機(jī)器人甚至可以自己做轉(zhuǎn)彎的動(dòng)作。

3月11日，中國(guó)科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心（以下簡(jiǎn)稱“中國(guó)科學(xué)院香港創(chuàng)新院AI中心”）正式發(fā)布最新研發(fā)的面向醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型——CARES Copilot 1.0。

據(jù)記者了解，專為神經(jīng)科學(xué)研發(fā)的大模型，可以超越一般教學(xué)的要求，能夠應(yīng)用在臨床、手術(shù)室及研究院，直接輔助前線醫(yī)護(hù)面對(duì)突發(fā)狀況，督導(dǎo)、預(yù)警、防止手術(shù)步驟危險(xiǎn)，推進(jìn)神經(jīng)科學(xué)的疆界。此外，手術(shù)大模型和手術(shù)導(dǎo)航結(jié)合起來(lái)，可以為術(shù)者提供實(shí)時(shí)的解剖定位信息，提高手術(shù)安全性。

AI手術(shù)大模型的多項(xiàng)識(shí)別功能

CARES Copilot系統(tǒng)，是一款專為醫(yī)療領(lǐng)域設(shè)計(jì)的大型模型系統(tǒng)，能夠與智能醫(yī)療設(shè)備高度集成，可有效支持包括手術(shù)中實(shí)時(shí)影像智能識(shí)別、MRI/CT/超聲等多模態(tài)配準(zhǔn)、內(nèi)窺鏡下場(chǎng)景理解、器械與解剖結(jié)構(gòu)分割、器械檢測(cè)與計(jì)數(shù)、手術(shù)室攝像機(jī)下醫(yī)生行為監(jiān)督等功能。

中國(guó)科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任、博士生導(dǎo)師劉宏斌在發(fā)布會(huì)上對(duì)經(jīng)濟(jì)觀察網(wǎng)記者表示，1.0版主要以識(shí)別和輔助醫(yī)生的功能為主，只有把識(shí)別做準(zhǔn)確了，才有可能去辨別手術(shù)當(dāng)中作出的判斷是否準(zhǔn)確。目前該系統(tǒng)的識(shí)別功能，首先是基于三維人體的手術(shù)室行為識(shí)別算法，能夠直接從視頻圖像里提取出“人的身體”，并把“人的身體”進(jìn)行數(shù)字化，并對(duì)人體動(dòng)作進(jìn)行判斷，比如“他現(xiàn)在在做什么，他的動(dòng)作是否合規(guī)”等。該技術(shù)能夠?qū)崿F(xiàn)95%的行為準(zhǔn)確率的識(shí)別。其次是基于多模態(tài)手術(shù)階段識(shí)別算法，利用大模型的抽象理解能力，能夠非常準(zhǔn)確地判斷出手術(shù)到了什么階段。

“第三是關(guān)鍵解剖結(jié)構(gòu)識(shí)別。即使是有經(jīng)驗(yàn)的醫(yī)生，也不可能百分百確認(rèn)他看到的手術(shù)場(chǎng)景里哪些屬于特定的解剖結(jié)構(gòu)，特別是一些隱藏在他視野后面的結(jié)構(gòu)，現(xiàn)在通過(guò)這個(gè)系統(tǒng)能夠把一些關(guān)鍵的解剖結(jié)構(gòu)的識(shí)別率提高到80%以上，這樣在手術(shù)過(guò)程中，醫(yī)生可以通過(guò)這些信息讓手術(shù)操作更加安全。”劉宏斌稱。

據(jù)劉宏斌介紹，該系統(tǒng)還有一項(xiàng)MRI-CT圖像翻譯功能，例如醫(yī)生需要某個(gè)病人CT的骨性結(jié)構(gòu)，往往需要讓病人重新做一次CT，這對(duì)病人來(lái)說(shuō)會(huì)增加一次輻射的風(fēng)險(xiǎn)，同時(shí)也讓整個(gè)手術(shù)流程變得復(fù)雜。但現(xiàn)在可以依靠系統(tǒng)生成式學(xué)習(xí)的能力，通過(guò)還原原生的核磁信息，就能推理出病人的骨性結(jié)構(gòu)，讓操作更為簡(jiǎn)單。

CARES Copilot系統(tǒng)注重實(shí)用性和可及性，已在多家醫(yī)院的不同科室進(jìn)行了實(shí)地內(nèi)部測(cè)試和持續(xù)優(yōu)化。北京協(xié)和醫(yī)院神經(jīng)外科主任醫(yī)師馮銘對(duì)經(jīng)濟(jì)觀察網(wǎng)記者表示，“目前我們已經(jīng)把系統(tǒng)運(yùn)用在神經(jīng)外科?？婆嘤?xùn)上，因?yàn)橐恍┠贻p醫(yī)生很多時(shí)候沒(méi)有機(jī)會(huì)進(jìn)手術(shù)室，所以把手術(shù)視頻放到這個(gè)大模型里。這樣，醫(yī)生就能夠很直觀地看到手術(shù)每一步在干什么，每一步重要的結(jié)構(gòu)是什么，現(xiàn)在這個(gè)已經(jīng)可以實(shí)現(xiàn)了”。

馮銘表示，下一步準(zhǔn)備把導(dǎo)航信息放進(jìn)模型中，以在手術(shù)中起到預(yù)警作用。

“做手術(shù)進(jìn)到腦部組織后，大模型的手術(shù)導(dǎo)航可以識(shí)別手術(shù)做到哪一步了，也會(huì)提醒腦部組織結(jié)構(gòu)叫什么？是血管還是神經(jīng)？包括腫瘤后面有什么，能夠提前預(yù)警，例如切除腫瘤的時(shí)候，導(dǎo)航會(huì)提醒可能會(huì)切到血管，要注意了。”馮銘稱。

機(jī)器人做手術(shù)“分階段實(shí)現(xiàn)”

記者從采訪中獲悉，CARES Copilot2.0版本將從識(shí)別延伸到手術(shù)指導(dǎo)。在手術(shù)操作的時(shí)候，大模型通過(guò)此前大量專家操作的歷史記錄，提醒及指導(dǎo)醫(yī)生哪個(gè)階段應(yīng)該如何操作，相當(dāng)于教練一樣。

“有些資歷較淺的醫(yī)生或者基層醫(yī)院的醫(yī)生經(jīng)驗(yàn)比較少，不可能靠自己的判斷完成一臺(tái)手術(shù)。如果想讓他做出一臺(tái)好的手術(shù)，理想的情況下，應(yīng)該有個(gè)專家站在他旁邊指導(dǎo)，但現(xiàn)實(shí)中這是不可能實(shí)現(xiàn)的，因?yàn)閷＜业臅r(shí)間也有限，不可能手把手教每一個(gè)基層醫(yī)生。因此我們下一步會(huì)把專家的經(jīng)驗(yàn)集成到模型里，讓模型去指導(dǎo)資歷淺的醫(yī)生，讓他們操作起來(lái)更安全。”劉宏斌稱。

而在未來(lái)，機(jī)器模型是否可以迭代到更高級(jí)的版本，自主操作手術(shù)？劉宏斌覺(jué)得這個(gè)事情會(huì)發(fā)生，但這個(gè)過(guò)程是分階段發(fā)生的。

劉宏斌表示，隨著機(jī)器大模型理解能力的提升，醫(yī)生能夠識(shí)別機(jī)器人的意圖，從而與它進(jìn)行有效的配合，例如讓機(jī)器人幫助醫(yī)生進(jìn)行一些非關(guān)鍵的操作如牽拉一下組織等等，這些相當(dāng)于機(jī)器人自主操作，這種技術(shù)在可預(yù)見(jiàn)的未來(lái)是可以實(shí)現(xiàn)的。問(wèn)題的關(guān)鍵在于，這種技術(shù)是否能夠在臨床上被醫(yī)生認(rèn)可，這取決于它的準(zhǔn)確度和可靠性能否達(dá)到要求。這些都需要一段時(shí)間的訓(xùn)練積累，在測(cè)試性的實(shí)驗(yàn)環(huán)境里對(duì)它進(jìn)行修正。

劉宏斌進(jìn)一步表示，未來(lái)甚至有可能醫(yī)生只是做一個(gè)手術(shù)的規(guī)劃，而具體動(dòng)刀則由機(jī)器人完成，這些在未來(lái)也是可以實(shí)現(xiàn)的。

馮銘亦告訴記者，目前機(jī)械臂已經(jīng)可以實(shí)現(xiàn)自動(dòng)穿刺定位。但如果不用人來(lái)控制機(jī)器，而讓機(jī)器直接做手術(shù)，則還需要很長(zhǎng)的時(shí)間。

“一臺(tái)手術(shù)本身是一個(gè)非常復(fù)雜的決策系統(tǒng)，它不只是讓機(jī)器去做一些動(dòng)作就可以的，因?yàn)槭中g(shù)過(guò)程中可能會(huì)發(fā)生很多預(yù)想不到的情況，怎么去處理這些突發(fā)情況，這就很需要醫(yī)生從實(shí)戰(zhàn)中積累到的經(jīng)驗(yàn)，這些經(jīng)驗(yàn)是很難完全靠機(jī)器來(lái)復(fù)制的。”劉宏斌說(shuō)。