經濟觀察報 記者 任曉寧 周應梅 實習生 陶思羽 一位包頭老板被AI換臉詐騙430萬元的消息，瞬間傳遍了整個朋友圈。而三天之后，安徽警方公布了另一起AI換臉導致的詐騙案，涉案金額同樣高達百萬元。

這種利用AI技術的新型犯罪也很快引發(fā)了監(jiān)管關注。中國互聯(lián)網協(xié)會5月24日在官微發(fā)文稱，ChatGPT和GPT-4等技術的應用，成為了信息科技領域的熱點，引起公眾對AI技術的廣泛關注和熱情。但伴隨著深度合成技術的開放開源，深度合成產品和服務逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進行詐騙、誹謗的違法行為屢見不鮮。并提醒面對利用AI技術的新型騙局，廣大公眾需提高警惕，加強防范。

AI換臉技術并非直到近期才成熟；早在2019年起就風靡全球，2019年換臉技術DeepFake一出現(xiàn)便引發(fā)了巨大倫理和法律爭議，但彼時的技術已經證明，“一鍵換臉”起碼從技術上來看，并不存在什么門檻可言。

不過，技術的細節(jié)迭代還是發(fā)生了。比如相比此前肉眼能夠比較輕松識別、在生成式AI技術浪潮爆發(fā)的當下，AI換臉正在越來越變得毫無痕跡。

創(chuàng)新工場AI子公司、港股上市公司創(chuàng)新奇智CTO張發(fā)恩告訴記者，隨著AI技術發(fā)展越來越快，研究越來越深，AI換臉、換聲音，破綻會越來越小。“技術是好的，但有時候會被不法分子利用。”張發(fā)恩也是寧波諾丁漢大學客座教授，曾任百度智能云事業(yè)部首席架構師和技術委員會主席。

技術與防守

“現(xiàn)在已經到了大規(guī)模、集中化討論AI風險的關鍵時刻。”接受記者采訪時，清華大學教授、博士生導師沈陽提出警示。他研究AI和大數據已有十多年時間。

沈陽今年也在做大模型平臺，他了解技術進步的速度，也知道大眾面對新技術的無措。他承認，AI技術有很正向的應用價值，但其壞的一面也應該重視。

根據沈陽的判斷，AI換臉等引發(fā)的問題，會讓我們經歷一段混亂階段，這對當前社會的整體反應提出了高要求。并且，這種混亂還將蔓延相當長時間。

“會比互聯(lián)網或移動互聯(lián)網早期的混亂期更長。畢竟互聯(lián)網和移動互聯(lián)網，都還是工具，但AI可能是自我覺醒的新物種，它是真的能挑戰(zhàn)人類的存在。”沈陽說。

國外ChatGPT產品已經向大眾開放，暴露的風險更多。據了解，目前OpenAI已經選擇暫停研發(fā)GPT-5，暫停時長6個月。麻省理工學院人工智能與基礎交互中心物理學教授、未來生命研究所所長Anthony Aguirre稱，GPT的軍備競賽是不幸的，這更像是一場自殺競賽。“我們面臨著不負責任的企業(yè)、廣泛應用、監(jiān)管缺失和大量未知因素引發(fā)的完美風暴。”

一覽科技聯(lián)合創(chuàng)始人兼CTO陳錫言告訴記者，能否識別哪些是AI生成的內容，會在未來成為人類基本生存技能。因為這些能力是不可或缺的。

當人類已經很難用肉眼識別出AI合成痕跡，進而可能被AI詐騙時，有些人想到一個辦法，用AI技術打敗AI技術。

獨到科技CEO張文浩覺得，AI安全是當下一個好賽道，最近出現(xiàn)了大量專門針對AI安全的公司，創(chuàng)業(yè)方向是識別AI合成圖片、視頻的痕跡，以及辨別偽造聲音。

陳錫言對此也很感興趣。他說，雖然自己從事AI視頻行業(yè)，現(xiàn)在能一眼識別出某個視頻是否由AI合成，但如果有類似產品出現(xiàn)，他也愿意購買。畢竟，技術會發(fā)展到什么程度，很難預料。

記者統(tǒng)計的近3個月獲得投資的AI公司中，安全公司有2家，分別是齊治科技、云科安信。

一位大模型公司技術人員告訴記者，AI安全是學界中的一個很重要的研究領域，上升為工程產品后，“整個大模型的業(yè)界都在討論這個問題”。

不過，AI是否能真的識破AI，目前仍有爭議。

沈陽告訴記者，現(xiàn)在國外有一些AI安全技術雛形，可以自動檢測某個圖片或視頻是否為AI合成，但當前技術還不是太成熟。

技術難點在于，AI生成的數據量太大，檢測的算力跟不上。并且，很多AI內容都經歷了多次合成。如果只經歷一次合成，還相對好識別。若是多次合成，當前的技術很可能就找不到合成特征了。

張發(fā)恩對此更不樂觀。他直截了當的說，用AI識破AI，是個偽命題。有一種人工智能模型訓練方式叫生成辨別對抗訓練，在這種訓練方式下，有兩個AI模型，一個是“造假”模型，一個是辨別模型。同時訓練這兩個模型，當“造假”模型產出的內容越來越逼真，辨別模型就無法辨別真假。基于這種邏輯，我們無法依靠AI來揭穿AI。

他覺得，還是需要人們自身提高防范意識，大眾也應該多接受知識普及，至少要知道技術已經發(fā)展到哪個地步了，自己多警覺一些。

沈陽補充說，防范AI風險還需要AI生成平臺，以及社交傳播渠道的配合。比如AI換臉，或是換聲時，內容生成平臺應該自動打碼，標注其是由AI合成，以起到提醒作用。

陳錫言也贊成這一點，他認為一項AI內容誕生后，人們應該是被告知的，這比較符合價值觀和倫理。此外，傳播渠道也有自己的責任，一旦發(fā)現(xiàn)某個賬號涉嫌詐騙，應該及時封控賬號。

選擇與進退

事實上，“AI換臉”的風險不止于詐騙。也被大量使用到影視劇二度創(chuàng)作、趣味惡搞視頻、表情包制作當中，其中法律風險和侵權糾紛已經出現(xiàn)。

天眼查顯示，上海魚腥草信息科技有限公司就因旗下一款AI換臉APP而遭多位網紅博主起訴，法院判決該公司公開道歉，并賠償經濟損失。今年3月，一名女性搭乘地鐵時的照片被人用AI軟件“一鍵脫衣”，遭到惡意傳播。

張文浩告訴記者，近期“AI換臉”問題頻發(fā)的根本原因是，多個AI大模型開源，開發(fā)工具非常多，使用門檻極速降低。惡意使用者用開發(fā)工具生成AI內容，也很簡單直接。“在技術上已經到了這樣的程度了。”張文浩是清華大學人工智能博士，對基礎模型、圖像視覺等領域有多年研究。

目前，互聯(lián)網大廠或是正規(guī)企業(yè)沒有做面向C端的AI產品，但這也給了灰色地帶以機會。

派拓網絡大中華區(qū)售前總經理董春濤發(fā)現(xiàn)，包括AI換臉在內的AI攻擊之所以會愈演愈烈，和網絡犯罪門檻逐漸降低是分不開的。暗網中的一些攻擊工具可以很低廉——甚至不到10美元，而且還出現(xiàn)了軟件即服務模式和ChatGPT等AI工具，給初級和業(yè)余黑客大開方便之門。董春濤有多年網絡安全背景，派拓網絡是一家關注AI生成內容工具對網絡安全的影響的公司。

派拓網絡數據顯示，從2022年11月至2023年4月初，ChatGPT相關域名注冊量每月暴漲910%。期間，團隊從DNS安全日志中發(fā)現(xiàn)相關搶注域名的盜用增長高達17818%。

圖靈三巨頭之一、蒙特利爾大學的教授Yoshua Bengio此前就預警了這種風險。他在解釋自己為什么簽名贊成暫停超強AI研發(fā)時說，自從ChatGPT發(fā)布以來，大家發(fā)現(xiàn)不那么謹慎守規(guī)矩的玩家會有競爭優(yōu)勢，如果是這樣的話，通過降低謹慎和道德監(jiān)督的水平，就更容易出頭。

AI孫燕姿爆火后，一位互聯(lián)網大廠人士告訴記者，他們公司內部其實早就有類似產品，并且能生成比網絡上效果更好，可以媲美歌手在錄音棚錄制效果的歌曲，但擔心版權風險以及不可控的其他風險，一直沒有面向C端用戶推出。

互聯(lián)網公司們對AI大模型及GPT產品都非常謹慎。目前為止，推出大模型內測的公司有幾十家，但都在內測，沒有一個向公眾開放。

上述大模型公司技術人員告訴記者，互聯(lián)網公司都在朝著無害性的生成內容方向去努力，如果無法解決安全問題的話，大模型產品是不會真正上線的。

大模型加持的AI產品和以前的AI產品完全不同。上述互聯(lián)網大廠人士舉例說，比如抖音之前推出過一鍵變成漫畫臉，AI換裝等，這些AI玩法屬于定制化的，已經提前設置好結果了。但大模型加持后，AI生成的結果完全是隨機的，“這真的很可怕，根本管不住。”

AI創(chuàng)業(yè)公司的態(tài)度也同樣謹慎。獨到科技產品主要面向B端客戶，為KOL或專業(yè)人士、廣告營銷公司、以及各行各業(yè)有營銷和拉新需求的企業(yè)，提供一鍵式生成視頻的功能。這個產品已經成熟，可以向C端用戶推出。但張文浩目前不考慮C端市場。

一覽科技聯(lián)合創(chuàng)始人兼CTO陳錫言認為，GPT對話模式已經把AI應用層覆蓋了一大半，不過好的方面是，垂直2B的領域，創(chuàng)業(yè)公司還是有機會的。比如文娛行業(yè)，一覽科技目前推出了從AI編劇到AI視頻一整條產業(yè)鏈的AI內容生成服務。影視劇組、MCN公司已經使用他們的產品。

產業(yè)與邊界

當前面向C端的AI公司也不受投資者青睞。記者統(tǒng)計了最近3個月AI領域投融資情況，獲得投資的B端公司的11個，C端公司有1個，還有5家公司B端、C端都做。投資機構不太敢投C端產品，他們擔心產品萬一出事，就白投了。

這種教訓早有先例。2019年8月底，陌陌旗下產品ZAO也推出過一鍵換臉功能，當時ZAO一夜走紅，迅速登上蘋果App Store免費榜的第一位。但僅僅過了3天，ZAO就被質疑侵犯隱私，被工信部約談，之后下架。2021年3月另一款AI換臉產品Avatarify經歷了類似的過程，這款問鼎過中國區(qū)App Store應用免費榜榜首的AI換臉產品，3月2日凌晨悄然從App Store下架。

今年以來，國內也陸續(xù)出現(xiàn)過一些“虛擬女友”類面向C端的AI產品，可以用AI模擬人類和用戶聊天，但很快被微信等平臺封掉。張文浩觀察到，國內大平臺目前不支持這種產品的上線。

記者在各個電商平臺平臺搜索“AI換臉”“AI換臉套餐”均未顯示任何結果，社交平臺則更多是防止AI換臉詐騙的內容。

北京嘉維律師事務所律師趙占領對經濟觀察報記者表示，目前AI換臉、AI換聲音還不算是一個產業(yè)，是AI產業(yè)滋生出來灰色地帶，通常涉及到侵犯肖像權或者聲音相關的權益。使用他人的肖像和聲音需要經過他人授權，如果通過AI換臉、AI換聲音進行詐騙則構成刑事犯罪，需要承擔相應的刑事責任。

趙占領表示，使用AI換臉、AI換聲音的基本邊界是要經過他人同意，不能侵犯他人的合法權益，更不能使用這些技術手段去從事犯罪活動。

趙占領表示，今年之前，沒有專門針對AI技術相關的法律規(guī)定，傳統(tǒng)的法律如《民法典》《民法通則》等民事相關法律以及《刑法》相關的法律規(guī)定仍然能夠適用，進行規(guī)范沒有問題。今年開始，4月份國家網信辦發(fā)布了一個關于生成式人工智能的征求意見稿，專門針對AI技術和AI行業(yè)特有的現(xiàn)象進行了規(guī)范，特別是對AI軟件的提供者、AI服務的提供者，賦予了更多的責任和義務。

趙占領提到，AI換臉即使是不以盈利為目的也可能構成侵權，就算純屬娛樂類的換臉剪輯等也可能構成侵犯他人肖像權。

在北京市中聞律師事務所律師趙虎看來，AI技術發(fā)展引起的犯罪或者侵權比較新型，犯罪侵權的樣式比較多。但他表示，AI換臉作為一種技術是中立的，這是一個原則，AI技術相關產業(yè)不應該被否定。趙虎認為，如果是在知道AI技術將被用于犯罪場景或者侵權場景，仍然提供AI換臉的技術，這種情況提供者同樣是犯罪者的共犯或者構成共同侵權。

5月16日，OpenAI 創(chuàng)始人兼CEO Sam Altman出席美國國會召開的主題為“AI監(jiān)管：人工智能的規(guī)則”聽證會時，提出希望與政府合作，加強AI監(jiān)管。他提出了三條建議：組建一個新的政府機構，負責給AI廠商提供許可證；為AI大模型創(chuàng)建一套安全標準；指派第三方專家獨立審核AI產品各方面的指標。除此之外，Altman支持創(chuàng)立一個類似一個國際原子能機構的國際組織，專門負責為各國監(jiān)管AI建立統(tǒng)一標準，以統(tǒng)一方向。

張文浩也希望，能有更清晰的法律與規(guī)則，讓AI行業(yè)發(fā)展的前景更為明朗。