韓明睿

2021年末，網(wǎng)飛推出的《不要抬頭》絕對(duì)是圣誕檔期的最熱電影，講述了一個(gè)彗星撞地球的故事。當(dāng)然這只是一部喜劇片而已，不過如果有觀眾看完之后真的擔(dān)憂起地球會(huì)有如此不祥的天外來客造訪，從更科學(xué)的角度來說，有一個(gè)好消息和一個(gè)壞消息。好消息是，地球被彗星或小行星撞擊導(dǎo)致人類滅絕的可能性小到可以忽略不計(jì)。壞消息是，其他各種危機(jī)引發(fā)文明滅頂之災(zāi)的概率加起來比一般人想象得要高得多。根據(jù)牛津大學(xué)人類未來研究所（FutureofHumanityInstitute）學(xué)者托比·奧德（TobyOrd）于2020年出版，2021年被翻譯引進(jìn)中國(guó)的《危崖:生存性風(fēng)險(xiǎn)與人類的未來》一書估算，人類在接下來一個(gè)世紀(jì)中遭遇生存性災(zāi)難的概率約有1/6。也就是說，與骰子擲出某個(gè)特定數(shù)字差不多。

這個(gè)概率有點(diǎn)嚇人，所以首先需要澄清一下定義。生存性災(zāi)難（existentialcatastro－phe）包括但并不限于人類滅絕。書中將其定義為“摧毀人類長(zhǎng)期發(fā)展?jié)摿Φ氖录?rdquo;。如果一場(chǎng)全球性災(zāi)難抹去了大部分但不是全部人口，同時(shí)讓人類喪失了可資利用以重建文明的技術(shù)、文化、制度和自然資源，則也屬于生存性災(zāi)難的范疇。事實(shí)上，由于人類走出非洲之后至今已經(jīng)遍布地球上包括南極洲在內(nèi)的各個(gè)角落，一兩場(chǎng)災(zāi)難就讓人類全體覆滅而不留下任何活口，幾乎不可能。但一些自然或人為的重大惡性事件完全可能劇烈地改變地球環(huán)境，使得災(zāi)后存活下來的人們像一些反烏托邦文藝作品里描繪的那樣，只能一直以低水平的生活質(zhì)量和落后停滯的技術(shù)能力茍且偷生。“發(fā)展”，這個(gè)自工業(yè)革命以來為世人所熟悉乃至覺得理所當(dāng)然的概念，會(huì)永久地成為過去式。

生存性風(fēng)險(xiǎn)威脅的不只是我們當(dāng)代人，也不只是可以被稱作我們子孫的下幾代人，而是人類作為宇宙中目前所知唯一的智慧生命的長(zhǎng)遠(yuǎn)未來。如果只考慮物理學(xué)定律在宇宙時(shí)間、運(yùn)輸速度、可用能源等方面對(duì)人的限制，人類的未來不只是數(shù)百年甚至數(shù)萬年，而是以億年計(jì)——自然，前提是人類及其發(fā)展?jié)摿Σ粫?huì)毀于自然或自己之手。以如此宏大的時(shí)間尺度來衡量，人類尚處于幼年。而就像每個(gè)人在懵懂的童年時(shí)光里都會(huì)跌跌撞撞地犯下很多用成年人的眼光來看笨拙可笑的錯(cuò)誤一樣，身處這個(gè)時(shí)代的我們的所作所為，或?qū)σ恍╋L(fēng)險(xiǎn)的忽視，可能在更為成熟理性的后人看來會(huì)是極度危險(xiǎn)、不負(fù)責(zé)任的。我們現(xiàn)在經(jīng)過深思熟慮的主流道德觀點(diǎn)與區(qū)區(qū)兩個(gè)世紀(jì)前已大為不同，不再認(rèn)為種族和性別歧視、奴隸制、宗教不寬容可以被接受，甚至難以理解祖先們?yōu)楹螘?huì)對(duì)此毫不羞慚。依此推斷，多年后的人們也完全可能認(rèn)為我們?cè)谀承┑赖潞同F(xiàn)實(shí)問題上愚昧而狂妄，將彼此以及子孫后代置于不可原諒的危險(xiǎn)之中?？?middot;薩根有句話講得很好：“我們面臨的很多危險(xiǎn)實(shí)際上源于科學(xué)與技術(shù)——但更根本的問題是，我們變得更強(qiáng)大，卻沒有相應(yīng)地變得更有智慧。”

也許有人會(huì)反駁說，我們并沒有把生存性風(fēng)險(xiǎn)完全置于腦后：看看最近幾十年的科幻影視劇，幾乎全在高舉“反思科技”的大旗，悲觀地展現(xiàn)一派反烏托邦或末世圖景。本書作者奧德也注意到了這一點(diǎn)，但他并不認(rèn)為這是什么好事。科幻影視劇中設(shè)置全球性災(zāi)難的背景或橋段，主要是為戲劇性提供服務(wù)。大家可能都向往生活在既有昌達(dá)的科技又能避免各種危機(jī)的未來社會(huì)，但也都不會(huì)想花幾個(gè)小時(shí)在虛構(gòu)作品中從頭到尾看到的都是天下太平的景象。災(zāi)難或廢土題材的文藝作品濫用生存性風(fēng)險(xiǎn)概念，非但沒有喚起嚴(yán)肅的討論，反而讓人們變得麻木起來。《不要抬頭》也無非是又一部娛樂電影。如果它在娛樂之外還貢獻(xiàn)了什么，基本上可能也就是好萊塢自由派對(duì)特朗普及其擁躉又一次黨同伐異的諷刺。

三類風(fēng)險(xiǎn)

現(xiàn)在讓我們來看看，人類究竟會(huì)面臨哪些生存性風(fēng)險(xiǎn)，各種風(fēng)險(xiǎn)又有多大可能性爆發(fā)。本書基于截至成稿前人類未來研究所的團(tuán)隊(duì)多年的研究積累，將生存性風(fēng)險(xiǎn)劃分為自然風(fēng)險(xiǎn)、現(xiàn)有人為風(fēng)險(xiǎn)和未來風(fēng)險(xiǎn)三大類。其中前兩者已對(duì)我們構(gòu)成威脅，而未來風(fēng)險(xiǎn)尚未威脅到人類整體命運(yùn)，但未來全面爆發(fā)的可能性不容忽略。需要注意的是，由于這些根據(jù)定義不可能有先例的災(zāi)難特性極為復(fù)雜，因此也有高度不確定性，書中給出的概率并不是精確的估算結(jié)果，而是代表了根據(jù)現(xiàn)有信息對(duì)風(fēng)險(xiǎn)數(shù)量級(jí)的最佳估計(jì)，大幾倍或小幾倍都在可以容忍的誤差內(nèi)。

自然風(fēng)險(xiǎn)包括開篇提到的小行星和彗星撞擊，以及超級(jí)火山噴發(fā)、恒星爆炸等。直徑超過10公里的小行星可能導(dǎo)致大規(guī)模生物滅絕。6600萬年前撞擊地球的小行星，直徑就是10公里。被它害死的不只是恐龍，涵蓋了所有體重在5公斤以上的陸地脊椎動(dòng)物。如前所述，這等規(guī)模的小行星未來一個(gè)世紀(jì)內(nèi)撞上地球的概率極低，約為1.5億分之一。在直徑在1至10公里之間的小行星破壞力較小，但也可能引發(fā)生存性災(zāi)難，而且其數(shù)量比前者多出兩個(gè)數(shù)量級(jí)，好在撞擊概率也不是很高，約為12萬分之一。至于彗星，其數(shù)量比小行星少得多，根據(jù)當(dāng)前的認(rèn)識(shí)，潛在風(fēng)險(xiǎn)可能與小行星相差不大。得益于充足的關(guān)注以及隨之而來的研究經(jīng)費(fèi)，來自小行星、彗星的風(fēng)險(xiǎn)可以說是各種生存性風(fēng)險(xiǎn)中被研究得最透徹的。并且由于發(fā)生概率很小，奧德直言：“如果人類會(huì)在未來的100年內(nèi)滅絕，那么幾乎可以肯定原因不是小行星或彗星撞擊。”

超新星爆發(fā)和伽馬射線暴這兩種恒星爆炸事件則可能會(huì)嚴(yán)重破壞大氣層，但概率至多是小行星和彗星撞擊的1/20。所以，與其擔(dān)憂這些飛來橫禍，還不如了解一下地下涌動(dòng)的暗流。超大規(guī)?；鹕絿姲l(fā)釋放出的火山灰等顆粒，會(huì)長(zhǎng)時(shí)間漂浮在大氣中，阻礙陽光照射，導(dǎo)致全球變冷，農(nóng)作物大面積歉收，引發(fā)全面饑荒。據(jù)估計(jì)，超級(jí)火山噴發(fā)構(gòu)成的生存性風(fēng)險(xiǎn)達(dá)到了小行星和彗星撞擊風(fēng)險(xiǎn)的10倍，是威脅最大的自然風(fēng)險(xiǎn)。但自然風(fēng)險(xiǎn)再大，也完全無法與人為風(fēng)險(xiǎn)相提并論。根據(jù)書中的估測(cè)，自然風(fēng)險(xiǎn)的總概率約是萬分之一，而主要的幾項(xiàng)人為風(fēng)險(xiǎn)是這個(gè)數(shù)字的上千倍。

現(xiàn)有的人為風(fēng)險(xiǎn)主要有核武器、氣候變化和環(huán)境破壞。毋庸多言，從廣島爆炸到古巴危機(jī)，核武器讓人類首次意識(shí)到全世界可能毀于自己之手。本書認(rèn)為，我們所處的是前所未有，可能也后無來者的高風(fēng)險(xiǎn)時(shí)代，就像走在峭壁腰上的一條羊腸小道，這就是書名《危崖》的涵義。危崖時(shí)期的起點(diǎn)被定在了史上第一次核試驗(yàn)的日子，即1945年7月16日。理論上，相互確保摧毀戰(zhàn)略和冷戰(zhàn)雙方都具備的二次核打擊能力，能夠避免任何一方發(fā)動(dòng)核戰(zhàn)爭(zhēng)。然而冷戰(zhàn)期間美蘇預(yù)警系統(tǒng)多次發(fā)生故障或出現(xiàn)人為失誤，發(fā)出了對(duì)方已啟動(dòng)先發(fā)核打擊的誤報(bào)。依靠發(fā)射程序設(shè)計(jì)，或許還憑借了一點(diǎn)運(yùn)氣，每一次誤報(bào)接收方都沒有按原定程序動(dòng)用己方核力量“報(bào)復(fù)”對(duì)方，讓人類躲過了最恐怖的結(jié)局。誤報(bào)甚至在冷戰(zhàn)結(jié)束后也時(shí)有發(fā)生。1995年俄國(guó)收到的一次雷達(dá)誤報(bào)被層層上報(bào)到了克里姆林宮，葉利欽甚至打開了核密碼箱，考慮是否授權(quán)動(dòng)用核武器。當(dāng)然核戰(zhàn)爭(zhēng)并未爆發(fā)，所以就如我們都能猜到的那樣，警報(bào)后來得以解除，葉利欽最后還是關(guān)閉了密碼箱。誤報(bào)來自于挪威發(fā)射的一枚科研火箭。挪方按照安全協(xié)議事先通知了俄方。俄方本應(yīng)依此排除本次警報(bào)，但通知并未傳達(dá)至雷達(dá)操作員。

更鮮為人知但又細(xì)思恐極的一點(diǎn)是，根據(jù)美國(guó)研發(fā)原子彈時(shí)一些科學(xué)家提出的模型，核聚變有可能在大氣層中引發(fā)熱核反應(yīng)，點(diǎn)燃空氣中成分占比最大的氮?dú)?，短時(shí)間內(nèi)就讓全球陷入火海。更多的科學(xué)家認(rèn)為這一模型有嚴(yán)重問題，于是就如眾所周知的那樣，研發(fā)進(jìn)程繼續(xù)了下去。但由于模型復(fù)雜，計(jì)算繁難，直到首次實(shí)彈試驗(yàn)前，科學(xué)家群體都未能完全排除這一可能性。參與曼哈頓計(jì)劃的諾貝爾物理學(xué)獎(jiǎng)得主費(fèi)米直到試驗(yàn)當(dāng)天還在和同事一起反復(fù)驗(yàn)算。萬幸的是，研究團(tuán)隊(duì)的多數(shù)意見被試驗(yàn)證實(shí)是正確的。

核戰(zhàn)爭(zhēng)一旦爆發(fā)，最可怕的甚至還不是數(shù)以百萬人可能死于核彈及持續(xù)的輻射。更具災(zāi)難性的后果直到20世紀(jì)80年代初才為科學(xué)界所知：與超級(jí)火山爆發(fā)對(duì)大氣的影響類似，核爆產(chǎn)生的黑色煙塵會(huì)飄進(jìn)平流層，無法被雨水帶回地面，導(dǎo)致俗稱“核冬天”的氣候劇變。有科學(xué)家估計(jì)，全面核戰(zhàn)爭(zhēng)會(huì)讓地表溫度平均下降7℃，北美和亞洲大部分地區(qū)的夏季氣溫會(huì)比現(xiàn)在降低20℃。農(nóng)作物的生長(zhǎng)期需要恰當(dāng)?shù)臍鉁兀@等程度的全球變冷會(huì)讓絕大多數(shù)作物根本無法成熟，令幾十億人陷入饑荒。

氣候變化是近十年來最受矚目的所謂“危機(jī)”。其實(shí)，就主流氣候科學(xué)界的均值預(yù)測(cè)而言，本世紀(jì)末的全球平均氣溫較工業(yè)革命之前增加兩三攝氏度，并不關(guān)涉全人類的生死存亡。就算未來幾個(gè)世紀(jì)里海平面上升數(shù)百米，陸地的絕大部分也不會(huì)被淹沒，遷移、興修城市等適應(yīng)措施完全可以應(yīng)對(duì)。農(nóng)作物也是怕冷不怕熱，農(nóng)業(yè)不會(huì)受到太大影響。形成生存性風(fēng)險(xiǎn)的是，一些正反饋機(jī)制使得以攝氏度衡量的氣溫上升兩位數(shù)，讓人在沒有空調(diào)的環(huán)境中難以生存下去，不過這些是小概率事件。

總的來說，書中給核戰(zhàn)爭(zhēng)、氣候變化和環(huán)境破壞在一個(gè)世紀(jì)內(nèi)各賦予了千分之一的生存性風(fēng)險(xiǎn)概率。它們已經(jīng)比自然風(fēng)險(xiǎn)高出了幾個(gè)數(shù)量級(jí)，但又比不上接下來討論的未來風(fēng)險(xiǎn)比起來。

首當(dāng)其沖的未來風(fēng)險(xiǎn)是大流行病。書中并未提到新冠肺炎疫情，因?yàn)楸緯?020年3月就已出版，成稿時(shí)新冠肺炎疫情尚不為人所知。這也可以體現(xiàn)作者和團(tuán)隊(duì)同事們的預(yù)見力?？赡苡腥藭?huì)覺得大流行病應(yīng)該歸入自然風(fēng)險(xiǎn)。但有充分理由認(rèn)為，哪怕自然產(chǎn)生的流行病，若能形成大流行，也必然有人為因素?，F(xiàn)在全世界的人口遠(yuǎn)多于古代，更容易孕育出新的病原體。人類通過農(nóng)業(yè)改變了自然，由此也大大增多了與動(dòng)物的接觸，使疾病更容易從動(dòng)物傳播到人類身上。人們?cè)诔鞘兄性眩殖俗鞣N交通工具遠(yuǎn)行，使得疾病人傳人的速度更快，范圍更廣。

生物技術(shù)的發(fā)展讓純粹人為制造的流行病也愈發(fā)可能出現(xiàn)。英美法蘇等大國(guó)都曾有過生物武器計(jì)劃。其中蘇聯(lián)規(guī)模最大，一度有十幾個(gè)秘密實(shí)驗(yàn)室和九千名科學(xué)家投入其中，開展將鼠疫、天花、炭疽和脊髓灰質(zhì)炎轉(zhuǎn)化為武器的研究，增強(qiáng)它們的傳播能力、致死率和對(duì)疫苗、醫(yī)藥的抵抗力，并建立了大量?jī)?chǔ)備。1972年多國(guó)簽署《禁止生物武器公約》，1975年生效。但蘇聯(lián)簽署后仍將其生物武器項(xiàng)目維持了近二十年。南非、伊拉克也曾違反《公約》發(fā)展生物武器?！豆s》的問題在于執(zhí)行能力，聯(lián)合國(guó)直到2007年才成立《公約》執(zhí)行協(xié)助機(jī)構(gòu)，其年度預(yù)算僅相當(dāng)于平均一家麥當(dāng)勞連鎖餐廳開支的一半，工作人員僅四人，人力物力都遠(yuǎn)遠(yuǎn)不如《不擴(kuò)散核武器條約》或《禁止化學(xué)武器公約》的執(zhí)行機(jī)構(gòu)。

《公約》對(duì)非國(guó)家主體更無從防范。近年來基因技術(shù)像信息技術(shù)一樣迅速大眾化。幾十年前只有極少數(shù)生物學(xué)家才能做到的事情，現(xiàn)在研究生已可掌握。在不遠(yuǎn)的將來，數(shù)以百萬計(jì)的生物學(xué)本科水平者都有能力成為基因玩家。指望其中每一個(gè)人都有負(fù)責(zé)的學(xué)術(shù)倫理和嚴(yán)謹(jǐn)?shù)牟僮饕?guī)范，無疑是異想天開。20世紀(jì)八九十年代日本奧姆真理教吸納的幾千個(gè)信徒中就有人學(xué)習(xí)過生化技術(shù)。他們不但成功地使用沙林毒氣造成多人傷亡，甚至已開始研究炭疽武器。2020年拿到諾貝爾獎(jiǎng)的CRISPR基因編輯技術(shù)日益普及。未來的反社會(huì)分子嘗試借此制造出危險(xiǎn)的新病毒，可能只是時(shí)間問題?，F(xiàn)在DNA合成仍需依靠生物技術(shù)公司完成，很多公司自發(fā)建立了篩查機(jī)制以排除含有危險(xiǎn)序列的訂單，但據(jù)估計(jì)每五份訂單就有一份未被此類機(jī)制覆蓋。

更驚悚的是，理論上被嚴(yán)格管理的實(shí)驗(yàn)室也可能成為大流行病的源頭。2001年英國(guó)為了撲滅口蹄疫，宰殺了六百萬頭牲畜。然而六年后疫情卷土重來，調(diào)查發(fā)現(xiàn)此次病毒源于一個(gè)最高安全級(jí)別（BSL-4）的實(shí)驗(yàn)室不慎泄漏。蘇聯(lián)在違反《公約》繼續(xù)研發(fā)生物武器期間，一個(gè)實(shí)驗(yàn)室于1979年泄漏了大量炭疽桿菌，確認(rèn)造成66人死亡。

“自然”產(chǎn)生并傳播的大流行病在未來一百年造成生存性災(zāi)難的概率被估計(jì)為萬分之一，而利用基因工程人為制造的大流行病對(duì)應(yīng)的概率是1/30。后面這個(gè)數(shù)字已經(jīng)讓人有些不得安寧。但這還不是本書冊(cè)封的風(fēng)險(xiǎn)之王。書中認(rèn)為與人類價(jià)值觀不一致的通用人工智能構(gòu)成的生存性風(fēng)險(xiǎn)概率高達(dá)十分之一，也就是說占到了總體風(fēng)險(xiǎn)的六成。

此前所述的風(fēng)險(xiǎn)，要么來自于沒有能動(dòng)性，大體上已被人類所征服，或人類至少已有深入了解的自然現(xiàn)象，要么會(huì)是由人類自己親手制造。而通用AI造成的問題與前兩者完全不在一個(gè)層次上。它會(huì)具備能動(dòng)性，有自己的追求，而且智力可以遠(yuǎn)超人類。這樣的AI現(xiàn)在還不存在，也看不到三五年內(nèi)就會(huì)問世的跡象。但如果等到它問世再來操心與其有關(guān)的安全問題，顯然為時(shí)已晚。我們必須確保通用AI甫一誕生，就在人類的掌控之下，或享有一定的自由但其目標(biāo)或價(jià)值觀不偏離人類的想法。AI與人類價(jià)值觀不一致，學(xué)界現(xiàn)行的術(shù)語稱為“價(jià)值未對(duì)齊”（unaligned），可能會(huì)驅(qū)使AI犧牲人類所在意的價(jià)值來追求自己的目標(biāo)。這個(gè)目標(biāo)未必是要惡意地消滅人類以獨(dú)霸世界。生存性風(fēng)險(xiǎn)研究的先驅(qū)尼克·博斯特洛姆（NickBostrom）在《超級(jí)智能》一書中舉過一個(gè)已成經(jīng)典的例子：假如一個(gè)智力足夠發(fā)達(dá)的AI被擁有它的一家回形針制造商設(shè)定了“高效生產(chǎn)回形針”的唯一目標(biāo)，它可能會(huì)采用各種手段控制全世界所有可以服務(wù)于這個(gè)目標(biāo)的財(cái)力、物力甚至人力資源，不停地生產(chǎn)回形針，毀掉人類的生存環(huán)境，并且人擋殺人，佛擋殺佛。

意識(shí)到“價(jià)值未對(duì)齊”問題后一個(gè)自然的提議是，在算法層面上對(duì)AI設(shè)置獎(jiǎng)勵(lì)函數(shù)，將其所追求的價(jià)值與人類的價(jià)值觀綁定在一起。但這并不容易，因?yàn)橐话闳说膬r(jià)值觀并不能化約為幾條簡(jiǎn)單的規(guī)則寫下來，更不用說古今中外人們對(duì)一些具體的道德問題甚至根本的道德原則都未達(dá)成共識(shí)。讀者很可能聽說過電車難題，無人駕駛研究者們已經(jīng)在爭(zhēng)論這一難題未來若干年就將變成現(xiàn)實(shí)的一個(gè)版本：當(dāng)緊急路況迫使無人駕駛汽車不得不在車外行人和車內(nèi)乘客的生命安全中做出選擇時(shí)，應(yīng)如何決策。這個(gè)比設(shè)置通用AI的價(jià)值觀要簡(jiǎn)單得多的問題，直到現(xiàn)在都還沒有很好的答案。

奧德承認(rèn)，對(duì)于價(jià)值未對(duì)齊的AI構(gòu)成的生存性風(fēng)險(xiǎn)，研究尚在早期，難以看清問題全貌，所以是本書推測(cè)性最強(qiáng)的一種風(fēng)險(xiǎn)。畢竟，我們很容易想象核戰(zhàn)爭(zhēng)爆發(fā)是怎樣的情形，也大體上知道流行病如何傳播，但沒有人能確定未來AI的危險(xiǎn)會(huì)以什么形式出現(xiàn)。（是通過互聯(lián)網(wǎng)控制大批個(gè)人電腦、服務(wù)器甚至嵌入式系統(tǒng)擾亂信息秩序？是開發(fā)利用新的破壞性技術(shù)？還是影響、操縱政治領(lǐng)導(dǎo)人等關(guān)鍵人物，讓人們彼此為敵？）不過，考慮到比人類更具智能的主體會(huì)帶來的極大威脅，哪怕它出現(xiàn)的可能性很小，也絕不容輕視。

書中接下來討論了反烏托邦社會(huì)、納米技術(shù)制造的微型武器、地外探索帶回的微生物污染等其他未來風(fēng)險(xiǎn)。在核戰(zhàn)爭(zhēng)、氣候變化、環(huán)境破壞、大流行病和價(jià)值未對(duì)齊的人工智能之外的所有其他可預(yù)見人為風(fēng)險(xiǎn)，書中給出了1/50的概率；不可預(yù)見的人為風(fēng)險(xiǎn)則是1/30，與基因工程造成的大流行病相當(dāng)。為什么要給不可預(yù)見的未來風(fēng)險(xiǎn)賦予這么高的概率？我們需要想象一下，1930年的研究者如果要像本書所做的一樣編制一份生存性風(fēng)險(xiǎn)列表會(huì)怎樣。顯而易見的是，他們無法預(yù)想到20世紀(jì)40年代以降才出現(xiàn)的最重要的幾大風(fēng)險(xiǎn)。有時(shí)科學(xué)家們也不能確定，或未能意識(shí)到，自己是否低估了所研究對(duì)象的風(fēng)險(xiǎn)。前文寫到過的原子彈爆炸引燃大氣層的可能性就是一例。

怎么辦

顯然，1/6這個(gè)風(fēng)險(xiǎn)概率高得可怕。即使像一開始說的，這只代表數(shù)量級(jí)而不是一個(gè)精確估計(jì)，位于同一個(gè)數(shù)量級(jí)的1/10甚或1/20之類的數(shù)字也完全不可接受，亟須壓降。一個(gè)很自然的想法是，對(duì)于不同的生存性風(fēng)險(xiǎn)，應(yīng)該分而治之，各個(gè)擊破。事實(shí)上，奧德確實(shí)給各種風(fēng)險(xiǎn)提供了政策和研究建議。比如，針對(duì)核武器，建議重啟或續(xù)簽一些關(guān)鍵的裁減軍備條約；針對(duì)基因工程大流行病，建議讓《禁止生物武器公約》具備與《禁止化學(xué)武器公約》同等的執(zhí)行效力，配備相應(yīng)的財(cái)力、人力、權(quán)力，同時(shí)讓危險(xiǎn)病原體篩查機(jī)制所有的DNA合成業(yè)務(wù)，等等。

但這不是應(yīng)對(duì)風(fēng)險(xiǎn)的唯一路徑。另有一些問題，本身不構(gòu)成生存性災(zāi)難，卻會(huì)間接促發(fā)一種或多種生存性風(fēng)險(xiǎn)。例如，一戰(zhàn)或二戰(zhàn)規(guī)模的大國(guó)戰(zhàn)爭(zhēng)一旦爆發(fā)，幾乎肯定會(huì)增加核武器、生物武器帶來的風(fēng)險(xiǎn)，氣候變化和人工智能方面的國(guó)際合作也會(huì)隨之停滯。奧德把此類增加生存性風(fēng)險(xiǎn)的問題稱為“生存性風(fēng)險(xiǎn)因素”。他估計(jì)大國(guó)戰(zhàn)爭(zhēng)這一因素所起的作用占到了整體生存性風(fēng)險(xiǎn)中的十分之一，也就是說，對(duì)整體風(fēng)險(xiǎn)的影響蓋過了全部自然風(fēng)險(xiǎn)的總和。避免大國(guó)戰(zhàn)爭(zhēng)因而是減少生存性風(fēng)險(xiǎn)的必要工作之一。而核武器和氣候變化不但本身構(gòu)成生存性風(fēng)險(xiǎn)，也是可能促成其他災(zāi)難性事件的風(fēng)險(xiǎn)因素，甚至作為風(fēng)險(xiǎn)因素的角色還更重要。

另外需要注意的是，對(duì)于諸種生存性風(fēng)險(xiǎn)和風(fēng)險(xiǎn)因素，并不是在整體風(fēng)險(xiǎn)中占比越大就越該被優(yōu)先處理。假如投入同樣多的資源可以把人工智能的風(fēng)險(xiǎn)從10%降至9%，或者能將基因工程大流行病的風(fēng)險(xiǎn)從1/30的水平降至與自然產(chǎn)生的大流行病相當(dāng)?shù)娜f分之一的水平，那么把資源用于原本概率較小的后者，反而能更多地減少整體風(fēng)險(xiǎn)，因此是更有效的選擇。

在問題解決難易程度（可處理性）之外，還應(yīng)該考慮問題被忽視的程度。有些生存性風(fēng)險(xiǎn)或風(fēng)險(xiǎn)因素已經(jīng)獲得了大量關(guān)注和隨之而來的資源，所以可能恰恰是另一些重要性與可處理性不那么高的風(fēng)險(xiǎn)應(yīng)該被賦予更高的優(yōu)先級(jí)。舉例來說，價(jià)值未對(duì)齊的人工智能一俟出現(xiàn)，對(duì)人類社會(huì)極有可能“一擊致命”。大流行病等風(fēng)險(xiǎn)則遵循冪律分布，發(fā)生多次較小規(guī)模的事件（如死亡數(shù)百萬人），才會(huì)出現(xiàn)一次更大規(guī)模的爆發(fā)（死亡數(shù)億人）。而較小規(guī)模的事件已經(jīng)足夠糟糕，必然會(huì)引起人們的警覺和行動(dòng)（不妨將其稱為“預(yù)警信號(hào)”），從而不太可能被忽視。由此一個(gè)反直覺的推論是，如果其他條件大致相同，反而是那些“預(yù)警信號(hào)”闕如，而不是經(jīng)常有機(jī)會(huì)在媒體上“喚醒人類行動(dòng)意識(shí)”的風(fēng)險(xiǎn)，更應(yīng)得到重視。

當(dāng)然，目前生存性風(fēng)險(xiǎn)干預(yù)工作面臨的首要問題是整體投入不足。奧德抱怨說，每年全球有大約4萬億美元流向教育領(lǐng)域，可用于減少各類生存性風(fēng)險(xiǎn)的資金總計(jì)只有1億美元左右。考慮到我們不能承受哪怕一次生存性災(zāi)難，1億這個(gè)數(shù)字簡(jiǎn)直小得荒謬。他提議將這項(xiàng)預(yù)算提升至全球生產(chǎn)總值的百分之一。

長(zhǎng)遠(yuǎn)主義和有效利他理念

本書主張，接下來的幾百年很可能是人類歷史上最危險(xiǎn)的階段。我們要么能盡快把整體生存性風(fēng)險(xiǎn)降低若干數(shù)量級(jí)，從而進(jìn)入較為安全的未來，要么繼續(xù)維持當(dāng)前甚至更高的風(fēng)險(xiǎn)水平。而在后一種情況下，由簡(jiǎn)單的概率知識(shí)可知，人類持續(xù)安全生存下去的概率會(huì)隨著時(shí)間減少。作為簡(jiǎn)單示意，假定接下來每個(gè)世紀(jì)的整體生存性風(fēng)險(xiǎn)概率都是1/6且互不相關(guān)，那么用不了一千年，人類不遭遇任何生存性災(zāi)難的可能性就會(huì)降到20%以下。相信沒有人會(huì)不想讓人類處在前一種情況，小心行過危崖之后邁入一望無際的平原。

這一關(guān)鍵論斷多少有些令人生疑。人類如能安然度過接下來幾個(gè)世紀(jì)，并把生存性風(fēng)險(xiǎn)降至可接受的微乎其微的水平，也并不必然意味著威脅已被一勞永逸地解決。不要忘記，書中給接下來一個(gè)世紀(jì)出現(xiàn)不可預(yù)見的人為生存性風(fēng)險(xiǎn)給出了1/30的概率。消除一些普遍性的風(fēng)險(xiǎn)因素肯定會(huì)減小這個(gè)數(shù)值。然而不能排除的一種情景是，由于科技總在推陳出新，人類在一個(gè)或幾個(gè)世紀(jì)后又將面臨新的、更易爆發(fā)的生存性風(fēng)險(xiǎn)，再度踏上危崖。

不過，樂觀地看，如果屆時(shí)我們的后代也能逢兇化吉，也許就有望實(shí)現(xiàn)星際旅行并定居外星。書中最后一章基于物理的終極可能性，展開了一番眼花繚亂的計(jì)算后告訴讀者，人類一代代接力，最遠(yuǎn)可以觸及的范圍是160億光年，在1500億年適合宇宙航行的機(jī)遇窗口內(nèi)抵達(dá)其間200億個(gè)星系。人類也會(huì)在如此漫長(zhǎng)的時(shí)間中打造出遠(yuǎn)遠(yuǎn)超乎當(dāng)代的文藝作品、生活體驗(yàn)、道德品質(zhì)和物質(zhì)成就。一萬年前甚至一百年前的人們想象不到我們現(xiàn)在的豐富生活，我們就更不可能想象出在如此久遠(yuǎn)的將來，極有可能肉身已經(jīng)技術(shù)改造過的億萬后人，過的是什么樣的日子了。

關(guān)心這等巨幅尺度上的未來，是“長(zhǎng)遠(yuǎn)主義”（longtermism，譯本中作“長(zhǎng)期主義”，但由于這一思想所考察的時(shí)間段甚為久遠(yuǎn)，迥異于日?；蚪?jīng)濟(jì)、金融意義上的“長(zhǎng)期”，很多中文世界的研究者和愛好者更傾向于譯為“長(zhǎng)遠(yuǎn)主義”）倫理觀的特色。在長(zhǎng)遠(yuǎn)主義思想背景下，當(dāng)今世界的多數(shù)紛爭(zhēng)根本無關(guān)緊要。我們最重要的使命，是在這個(gè)危機(jī)時(shí)代保全和發(fā)展人類社會(huì)，不至于毀掉后人的長(zhǎng)遠(yuǎn)前程。

作者奧德還是另一思想運(yùn)動(dòng)“有效利他主義”（effectivealtruism，又譯“有效利他理念”或“實(shí)效利他主義”）的共同發(fā)起者。這種理念最早出自慈善公益領(lǐng)域，是對(duì)該領(lǐng)域中“花錢主要換來捐贈(zèng)者自我感覺良好，不計(jì)量對(duì)受捐者幫助效果”的常見做法的全面反思，主張慈善組織應(yīng)該量化評(píng)估捐助實(shí)效，把資金用在最能改善受捐者處境的項(xiàng)目上。后來，有效利他理念的影響溢出了狹義的慈善界，越來越多認(rèn)同者將成本收益原則應(yīng)用到各種善舉上，如動(dòng)物權(quán)利、精神健康、成癮品控制事業(yè)等。

長(zhǎng)遠(yuǎn)主義和有效利他理念看起來沒什么必然關(guān)系，至少在早期也是各自平行發(fā)展。但秉持兩種理念的人群有不少重疊，甚至現(xiàn)在大多數(shù)長(zhǎng)遠(yuǎn)主義者同時(shí)也接受有效利他理念。這一現(xiàn)狀的成因有一定偶然性。包括奧德本人在內(nèi)的幾位學(xué)者在兩種理念的演進(jìn)過程中都起了關(guān)鍵作用，圍繞他們形成的兩大社群自然也就有很多交集。

不過二者的親緣關(guān)系也可從潛伏的思想脈絡(luò)來詮釋。有效利他理念主張“行最大的善”——著名哲學(xué)家彼得·辛格以此作為他倡導(dǎo)這一理念的著作書名。長(zhǎng)遠(yuǎn)主義可以理解為，一些已經(jīng)內(nèi)化了有效利他理念的人，認(rèn)為潛在的最大善其實(shí)就是人類可長(zhǎng)達(dá)數(shù)億年的未來中能夠創(chuàng)造的價(jià)值，進(jìn)而思考自己為此能做些什么。這樣來看，長(zhǎng)遠(yuǎn)主義就是有效利他理念自然擴(kuò)展的邏輯結(jié)果?？赡芤舱?yàn)榇?，長(zhǎng)遠(yuǎn)主義現(xiàn)已在很大程度上成為有效利他理念的最重要分支。

并非最后和最好的希望

今年伊始，這邊廂《不要抬頭》還在熱映，那邊廂擔(dān)任聯(lián)合國(guó)安理會(huì)常任理事國(guó)同時(shí)也是核大國(guó)的五個(gè)國(guó)家聯(lián)合發(fā)表《關(guān)于防止核戰(zhàn)爭(zhēng)與避免軍備競(jìng)賽的聯(lián)合聲明》，申明“核戰(zhàn)爭(zhēng)打不贏也打不得”，要“防止核武器未經(jīng)授權(quán)或意外使用”，并重申“不將核武器瞄準(zhǔn)彼此或其他任何國(guó)家”。當(dāng)初正是核武器開啟了危崖時(shí)代，而核戰(zhàn)爭(zhēng)可以說也是當(dāng)下各種生存性風(fēng)險(xiǎn)中能在最短時(shí)間內(nèi)爆發(fā)的一種，并且冷戰(zhàn)結(jié)束后在公眾視野中消失了多年，有被忽視之嫌。五個(gè)核大國(guó)重新意識(shí)到這一問題的嚴(yán)重性并做此表態(tài)，或許能讓我們對(duì)全身而過危崖多一點(diǎn)信心。當(dāng)然，還有更多棘手的威脅需要應(yīng)對(duì)。今天一紙聲明也好，明天戰(zhàn)勝新冠肺炎疫情也罷，又或者知曉小行星和彗星不會(huì)摧毀地球生物圈，都不該是人類最后和最好的希望。我們理當(dāng)期待和要求自己做得更多。但愿我們的作為，能讓人類社會(huì)在數(shù)億年后依然生機(jī)勃勃，并讓那時(shí)回望此刻的歷史學(xué)家們，慶幸我們做出了正確的決定。