AI能顛覆搜索引擎嗎

陳永偉2024-03-18 18:26

陳永偉/文 2022年 11月的最后一天,OpenAI在沒有任何事先宣傳的情況下發(fā)布了其劃時(shí)代的生成式AI產(chǎn)品ChatGPT。憑借其出色的人機(jī)交互表現(xiàn)和任務(wù)處理能力,ChatGPT創(chuàng)造了軟件用戶增速的奇跡。短短5天,其用戶量就突破了100萬;不到兩個(gè)月,其用戶量就突破了1億。

當(dāng)越來越多人為OpenAI的這款產(chǎn)品著迷的時(shí)候,一個(gè)問題出現(xiàn)了:雖然這款A(yù)I產(chǎn)品的能力強(qiáng)大,但從實(shí)用的角度看,它最大的價(jià)值究竟在哪里呢?一個(gè)得到較高認(rèn)可的答案是,它可能會(huì)成為新一代的搜索引擎,從而徹底動(dòng)搖谷歌在搜索市場上的壟斷地位。

應(yīng)該說,這個(gè)答案是頗有道理的。在ChatGPT橫空出世之前,谷歌一直被認(rèn)為是全世界AI實(shí)力最強(qiáng)的企業(yè)。在過去的幾年中,它一直在從事大語言模型的開發(fā),并且積極嘗試將這項(xiàng)技術(shù)與其現(xiàn)有的搜索引擎結(jié)合。事實(shí)上,就連ChatGPT開發(fā)過程中所用到的關(guān)鍵技術(shù)Transformer,也是由谷歌發(fā)明的。在這種情況下,OpenAI率先發(fā)布了自己的大語言模型,就不得不讓人聯(lián)想到是為了挑戰(zhàn)谷歌的地位。后來的事實(shí)似乎也印證了這一點(diǎn)。2023年2月,OpenAI的長期盟友和幕后支持者微軟率先宣布將GPT模型集成到自己旗下的必應(yīng)搜索引擎當(dāng)中。這一舉動(dòng)讓很多人驚呼:谷歌在搜索市場上的地位可能要危險(xiǎn)了!

情況果真如此嗎?在一年多前的一篇專欄里,我曾判斷說至少在短期內(nèi),發(fā)生這種情況的概率很小,目前的發(fā)展?fàn)顩r大致上印證了我的判斷。根據(jù)網(wǎng)絡(luò)咨詢機(jī)構(gòu)Statcounter的統(tǒng)計(jì),2023年2月,谷歌在全球搜索引擎市場上的份額為93.37%。在此后一年中,雖然其市場份額有所下降,但到2024年2月,其市場份額仍高達(dá)91.61%。反觀必應(yīng),雖然在搭載了GPT模型之后,其市場份額有所上升,但上升的效果并不明顯。2023年2月,其市場份額為2.81%,到2024年2月,其市場份額為3.32%。由此可見,雖然必應(yīng)借生成式AI之勢,在一定程度上提升了自己的競爭力,但這種提升的力量是有限的,離動(dòng)搖谷歌統(tǒng)治地位的程度還差很遠(yuǎn)。

那么,谷歌為何可以在生成式AI大潮的沖擊下巋然不動(dòng)?它成為長盛不衰的搜索巨頭背后的秘密何在?在搜索領(lǐng)域,又有哪些力量在挑戰(zhàn)著谷歌?搜索市場的未來又會(huì)是什么樣?要回答這些問題,我們還得從頭說起。

最初的信息入口

1994年,一位來自中國臺(tái)灣的年輕人楊致遠(yuǎn)(Jerry Yang)從斯坦福大學(xué)機(jī)電系獲得了碩士學(xué)位,接著,他申請了本校的軟件工程學(xué)博士項(xiàng)目。在準(zhǔn)備研究課題期間,他經(jīng)常泡在網(wǎng)上。當(dāng)時(shí),互聯(lián)網(wǎng)的發(fā)展還處于初級階段,每天都有很多網(wǎng)站誕生,網(wǎng)絡(luò)的信息正在不斷地膨脹。然而,要找到一個(gè)網(wǎng)站并不容易。普通用戶很難知道哪個(gè)網(wǎng)站有自己需要的信息,即使知道了,要記住那些冗長而雜亂的網(wǎng)址也讓人頗為煩惱。面對這種情況,曾經(jīng)在校圖書館兼職的楊致遠(yuǎn)意識(shí)到,為互聯(lián)網(wǎng)做一個(gè)類似的檢索目錄或許是一樁不錯(cuò)的主意。他將這個(gè)主意告訴了自己的同學(xué)大衛(wèi)·費(fèi)羅(David Filo)。兩人一拍即合,一起手動(dòng)收集了一大批實(shí)用且優(yōu)質(zhì)的網(wǎng)站,并將它們分門別類,做成了一個(gè)導(dǎo)航網(wǎng)站。他們用兩人名字的合稱,將這個(gè)網(wǎng)頁命名為“杰瑞和大衛(wèi)的萬維網(wǎng)指南”,并將其放上了網(wǎng)。

一開始,楊致遠(yuǎn)和費(fèi)羅制作導(dǎo)航網(wǎng)站的目的僅僅是為了方便自己和朋友們檢索信息。但這個(gè)網(wǎng)站一上線,就備受歡迎。一開始是他們身邊的朋友,后來是朋友的朋友……很快,數(shù)以萬計(jì)的人涌向了這個(gè)此時(shí)還略顯簡陋的網(wǎng)站,并將它作為自己探索互聯(lián)網(wǎng)的起點(diǎn)。楊致遠(yuǎn)認(rèn)識(shí)到,致富的機(jī)會(huì)來了。于是,他干脆放棄了攻讀博士的打算,專心和費(fèi)羅一起搞起了這個(gè)網(wǎng)站。為了讓自己的網(wǎng)站更容易被人記住,他們將它的名字改成了《格列佛游記》中一個(gè)野蠻族群的名字——雅虎(Yahoo)。有意思的是,在他們試圖注冊Yahoo商標(biāo)時(shí),發(fā)現(xiàn)一家烤肉店已經(jīng)搶注了這個(gè)名字。為表區(qū)別,楊致遠(yuǎn)就在單詞后面加了一個(gè)嘆號。于是,后來大家熟悉的“Yahoo!”就誕生了。

由于成功地抓住了互聯(lián)網(wǎng)發(fā)展初期的紅利,雅虎很快成為了當(dāng)時(shí)訪問量最高的網(wǎng)站。關(guān)于雅虎和它的這兩位創(chuàng)始人的故事,已經(jīng)有無數(shù)文章進(jìn)行了介紹,在此就不再展開了。

這里想指出的是,楊致遠(yuǎn)和費(fèi)羅之所以能取得如此巨大的成就,其關(guān)鍵是因?yàn)樗麄冏龅搅司W(wǎng)絡(luò)搜索的三件要事中的一樣——為信息提供了一個(gè)類似圖書館的檢索目錄。雖然用今天的眼光看,誕生之初的網(wǎng)站十分簡陋,但對于當(dāng)時(shí)的用戶而言,那已經(jīng)勉強(qiáng)夠用了。然而,隨著互聯(lián)網(wǎng)的快速發(fā)展,這種依靠手工整理的指南網(wǎng)站就逐漸難以滿足人們的需要了。人們還希望可以找到一些小眾的網(wǎng)站和新網(wǎng)站的信息,而顯然,如果僅僅依靠人力,這些網(wǎng)站是很難被及時(shí)添加到目錄中的。在這種情況下,一種可以自動(dòng)爬取網(wǎng)站信息的技術(shù)就變得十分重要了。

幸運(yùn)的是,早在雅虎網(wǎng)站上線之前,這種自動(dòng)爬取網(wǎng)站信息的技術(shù)就已經(jīng)存在了,這就是我們現(xiàn)在熟知的網(wǎng)絡(luò)爬蟲(Spiders)。它的原理是通過一個(gè)腳本文件自動(dòng)在網(wǎng)上查找相關(guān)的資源,然后訪問并保存它們。

1990年時(shí),當(dāng)時(shí)還在麥吉爾大學(xué)攻讀研究生的艾倫·埃塔奇(Alan Em-tage)兼職擔(dān)任了該校信息技術(shù)系的一名系統(tǒng)管理員。出于工作需要,他需要為學(xué)生和教職員工在各種公共的FTP(FileTransferProtocol,即文件傳輸協(xié)議的簡稱)上搜尋各種軟件。在當(dāng)時(shí),這實(shí)在不是一件輕松的事情。為了減少自己的工作量,他寫出了世界上第一個(gè)爬蟲程序Archie。Archie可以自動(dòng)瀏覽網(wǎng)上的公共FTP,下載相關(guān)的文件列表,并將它們保存在一個(gè)數(shù)據(jù)庫中。這樣,人們需要什么文件,就可以直接搜索數(shù)據(jù)庫,它就會(huì)返回這些文件對應(yīng)的網(wǎng)址。

埃塔奇的工作為在浩瀚的網(wǎng)絡(luò)上查找所需的資源提供了一個(gè)思路。受其啟發(fā),不少人用爬蟲建立了專門的網(wǎng)絡(luò)資源索引。比如,比爾·希蘭(Bil Heelan)在1991年創(chuàng)建了Veronica,用以幫助用戶在Gopher服務(wù)器上定位文件;而史蒂文·福斯特(Steven Foster)則在1991年發(fā)布了Jughead,幫助用戶檢索網(wǎng)絡(luò)上的文件和元數(shù)據(jù)。楊致遠(yuǎn)在創(chuàng)辦了雅虎之后,也很快注意到了爬蟲技術(shù),并用它來搜集需要的網(wǎng)站。這樣,原本由純?nèi)斯に鸭畔⒌难呕⒕瓦M(jìn)化為了自動(dòng)更新的指南網(wǎng)站。

相比于純?nèi)斯?,爬蟲技術(shù)無疑是大幅提升了信息采集的效率。得益于這種技術(shù),以雅虎為代表的信息門戶網(wǎng)站可以十分及時(shí)地獲取和更新網(wǎng)站信息??梢哉f,雅虎在那段時(shí)間能取得巨大成功,這項(xiàng)技術(shù)功不可沒。

不過,隨著互聯(lián)網(wǎng)信息的膨脹,類似的網(wǎng)站又開始面臨一個(gè)問題:當(dāng)信息越來越多時(shí),人們怎么才能從大量的信息當(dāng)中,以最低的成本找出自己想要的信息。雖然從理論上講,按照信息門戶網(wǎng)站提供的檢索目錄一一嘗試,人們總可以找到自己想要的網(wǎng)站,但那樣的效率實(shí)在是太低了。在這種情況下,人們對更有效率的信息檢索工具的需求就變得越來越迫切了。

搜索引擎時(shí)代的到來

1996年,斯坦福大學(xué)的兩名博士生謝爾蓋·布林(Sergey Brin)和拉里·佩奇(Larry Page)在該大學(xué)的服務(wù)器上推出了一個(gè)原型網(wǎng)絡(luò)搜索引擎谷歌(Google)。和過去的信息檢索工具相比,谷歌不僅可以更迅速地從網(wǎng)絡(luò)上爬取各種最新的信息,更為重要的是,它還可以在紛繁的信息中,準(zhǔn)確地將那些最重要的信息呈現(xiàn)到用戶面前。

谷歌為什么可以做到這一切呢?很顯然,更快的爬取速度依賴于更高效率的爬蟲。至于信息的精準(zhǔn)呈現(xiàn),則來自于所謂的“佩奇排序算法”(PageRank Algorithm)——由于Page既可以用來指其發(fā)明人佩奇,也可以用來指網(wǎng)頁,因而這個(gè)算法名可謂一語雙關(guān)。“佩奇排序”是一種怎樣的算法呢?直觀來說,它的靈感來自于學(xué)術(shù)圈的論文影響力排名。我們知道,在學(xué)術(shù)界,論文是科研人員最重要的產(chǎn)出。在各種考評當(dāng)中,論文都是關(guān)鍵的參考指標(biāo),除了看論文的數(shù)量,更要看論文的質(zhì)量。那么,什么樣的論文才算是一篇高質(zhì)量的論文呢?最初,人們將引用率作為質(zhì)量的指標(biāo),一篇論文被引用的越多,它的質(zhì)量就被認(rèn)為更高。但是,這很快又引發(fā)了一個(gè)問題:一些學(xué)者為了提升自己論文的引用率,就瘋狂地發(fā)文章,然后在自己新的文章中引用自己過去的文章。

另一些學(xué)者則采用相互合作的方式,一起“刷”引用率。這就讓引用率這個(gè)指標(biāo)失去了意義。針對這個(gè)情況,有人想出了對引用率進(jìn)行加權(quán)的思路,即只有被重要的文章引用,這次引用才可以獲得高的權(quán)重,而如果只是被不重要的“水”文引用,權(quán)重就很低。用論文的加權(quán)被引用率,就可以對其重要性進(jìn)行更準(zhǔn)確的刻畫。當(dāng)然,細(xì)心的讀者應(yīng)該已經(jīng)發(fā)現(xiàn)這里有個(gè)悖論:只有當(dāng)論文被更多重要論文引用時(shí),它才可能是重要的,但怎么判定引用它的論文是重要的呢?這似乎就陷入了一個(gè)“雞生蛋、蛋生雞”的困境。好在從數(shù)學(xué)上看,這一點(diǎn)并不難處理,人們只需要用一種被稱為“不動(dòng)點(diǎn)”(fixedpoint)的工具就可以來處理這個(gè)問題。這樣,人們就得到了一種評價(jià)論文重要性的辦法。

佩奇排序就采用了這樣的思路來處理網(wǎng)頁。在不同的網(wǎng)頁之間,經(jīng)常會(huì)用超鏈接進(jìn)行相互的鏈接。從性質(zhì)上看,一個(gè)網(wǎng)頁被其他的網(wǎng)頁鏈接和一篇論文被其他論文引用是非常類似的。類似的,如果一個(gè)網(wǎng)頁更多地被重要的網(wǎng)頁鏈接,那就說明這個(gè)網(wǎng)頁的重要性更高。這樣,人們就可以采用類似對論文影響力排名的辦法,來對網(wǎng)頁的重要性進(jìn)行排名。

在用上述思路對網(wǎng)頁進(jìn)行處理之后,人們只需要輸入相關(guān)的關(guān)鍵詞,谷歌引擎就可以找出具有這些關(guān)鍵詞的網(wǎng)頁,并將它們按照重要性生成排序,再呈現(xiàn)給用戶,用戶就可以比較容易地找到自己想要的網(wǎng)站和信息。

在開發(fā)出谷歌引擎之后,布林和佩奇十分興奮。起初,他們只是想把這個(gè)家伙賣個(gè)好價(jià)錢,然后回到學(xué)術(shù)界謀個(gè)教職。1998年,他們找到雅虎,要價(jià)100萬美元出售谷歌引擎和它的核心技術(shù)——佩奇排序算法。盡管楊致遠(yuǎn)親自接見了這兩位學(xué)弟,并和他們相談甚歡,但正處于事業(yè)巔峰的他并沒有看得上這個(gè)“奇技淫巧”。因而,雅虎非常遺憾地錯(cuò)過了這次收購谷歌的機(jī)會(huì)。

既然沒法把谷歌賣出去,那么就只好自己留著經(jīng)營了。正所謂時(shí)勢造英雄,隨著互聯(lián)網(wǎng)大潮的澎湃洶涌,谷歌這個(gè)工具的價(jià)值日益凸顯,其商業(yè)價(jià)值自然也水漲船高。等到2002年,楊致遠(yuǎn)后知后覺地認(rèn)識(shí)到谷歌的潛力,并試圖收購它時(shí),他的兩位學(xué)弟向他報(bào)出的價(jià)格已從當(dāng)初的100萬美元上升到了50億美元。雖然此時(shí)的雅虎估值很高,但事實(shí)上,其年?duì)I收只有10億美元上下,并沒有能力承擔(dān)這個(gè)收購價(jià),于是只好放棄了這個(gè)念頭。此后,谷歌一路高歌猛進(jìn),而雅虎則日趨沒落,最終在2016年賣給了美國電信運(yùn)營商Verizon。

復(fù)盤從雅虎誕生到谷歌強(qiáng)勢崛起、取代雅虎地位的這段歷史,我們可以總結(jié)出在為用戶提供信息導(dǎo)航服務(wù)過程中需要的三件事:第一件是要保證自己占有信息的充分性。這一點(diǎn),埃塔奇發(fā)明的爬蟲實(shí)現(xiàn)了;第二件是要對信息進(jìn)行有效的整理。雅虎之所以能有當(dāng)初的輝煌,就是靠了這點(diǎn);第三件則是需要從海量的信息中幫助用戶挑出最重要的信息。谷歌正是在這一點(diǎn)上實(shí)現(xiàn)了破局,才取得了它后來的地位。

從搜索引擎到賺錢機(jī)器

值得一提的是,作為后來者,谷歌之所以可以迅速超越其前輩雅虎,除了因?yàn)樗谛畔⒌臋z索效率上要遠(yuǎn)高于雅虎這樣的分類門戶網(wǎng)站,更是因?yàn)樗业搅艘粭l成功的變現(xiàn)思路。

盡管我們并不能確切知道當(dāng)初面臨主動(dòng)找上門求收購的布林和佩奇,楊致遠(yuǎn)為什么拒絕了他們,但據(jù)我猜測,營利模式的不明確應(yīng)該是一個(gè)重要的原因。對于當(dāng)時(shí)的門戶網(wǎng)站而言,怎么賺錢是相對清楚的:網(wǎng)站的運(yùn)營者只需要將網(wǎng)頁的空白處作為廣告位進(jìn)行招租,就可以得到廣告收入。事實(shí)上,即使到現(xiàn)在,這依然是很多門戶網(wǎng)站最重要的營利方式之一。然而,對于谷歌這樣的搜索引擎,要做到這一點(diǎn)似乎是比較困難的。固然,谷歌也可以在網(wǎng)頁的邊角處辟出一些廣告位,但這一方面會(huì)嚴(yán)重影響用戶體驗(yàn),另一方面由于搜索引擎缺乏像門戶網(wǎng)站這樣的層次性,隨意塞廣告的地方也非常有限。

谷歌是如何破局,將搜索引擎轉(zhuǎn)變成了賺錢的工具的呢?答案依然是廣告。承擔(dān)為谷歌開辟廣告業(yè)務(wù)重任的是薩拉爾·卡曼加(SalarKamangar),谷歌的第九名員工。開始,他的想法是將網(wǎng)頁邊角的一些空間拿出來進(jìn)行廣告招商。這雖然確實(shí)帶來了一定的廣告收入,但數(shù)量并不大。一次偶然的機(jī)會(huì),卡曼加突然想到,或許將搜索結(jié)果的網(wǎng)頁中的一部分拿出來作為廣告位是一個(gè)更好的主意。當(dāng)人們搜索某個(gè)關(guān)鍵詞時(shí),他們肯定是對與這個(gè)關(guān)鍵詞相關(guān)的信息感興趣。如果在搜索結(jié)果中放入針對性的廣告,其轉(zhuǎn)化效果可能會(huì)好很多。比如,當(dāng)用戶搜索“手機(jī)”時(shí),他很可能是想買手機(jī)。這時(shí),如果在搜索結(jié)果的邊上插入某個(gè)品牌手機(jī)的廣告,用戶就很可能優(yōu)先考慮這個(gè)品牌的手機(jī)。在這種思路的指導(dǎo)之下,谷歌的關(guān)鍵詞廣告誕生了。

那么,如何對搜索結(jié)果頁面的位置進(jìn)行配置呢?卡曼加的思路是進(jìn)行拍賣。最初,他們所設(shè)計(jì)的拍賣形式是“廣義最高價(jià)拍賣”(GeneralizedFirstPriceAuction)。后來,谷歌根據(jù)經(jīng)濟(jì)學(xué)家哈爾·范里安(HalVarian)的建議,將拍賣形式改成了“廣義次高價(jià)拍賣”(GeneralizedSecondPriceAuction)。

所謂廣義最高價(jià)拍賣,通俗地講,就是當(dāng)有多個(gè)廣告主競拍多個(gè)廣告位時(shí),將最好的廣告位分配給報(bào)價(jià)最高者,第二好的廣告位分配給出報(bào)次高者……以此類推。而在廣義次高價(jià)拍賣中,廣告位的分配和廣義最高價(jià)拍賣一樣,但報(bào)價(jià)最高者按照次高報(bào)價(jià)出價(jià),報(bào)價(jià)次高者按照第三高的報(bào)價(jià)出價(jià)……以此類推。

舉例來說,假設(shè)有甲乙兩個(gè)廣告位拍賣,甲位置比乙位置更好。有A、B、C三個(gè)廣告主來競拍,他們對廣告位的報(bào)價(jià)分別是12美元、10美元和8美元。那么在廣義最高價(jià)拍賣下,A將拍得甲廣告位,并支付12美元;B將拍得乙廣告位,并支付10美元。而在廣義次高價(jià)拍賣下,廣告位的分配方式依然不變,但甲乙兩人需要支付的價(jià)格卻分別變成了10美元和8美元。

根據(jù)拍賣理論,在廣義最高價(jià)拍賣中,競價(jià)者可能隱藏自己的真實(shí)意愿支付價(jià)。設(shè)想,如果他對一個(gè)拍品的心理價(jià)位是10元,他的報(bào)價(jià)絕不會(huì)超過10元。因?yàn)槿绻哂谛睦韮r(jià)位,他即使贏得了拍品,也會(huì)感到虧了?,F(xiàn)實(shí)中,他的最優(yōu)策略一定是報(bào)價(jià)低于10元。至于低多少,要綜合各方面信息,考慮各種報(bào)價(jià)下贏得拍賣的概率而定。由于在線拍賣中,拍賣是反復(fù)進(jìn)行的,所以競拍者通常會(huì)根據(jù)前一輪的拍賣情況對報(bào)價(jià)進(jìn)行大幅的調(diào)整。這就會(huì)導(dǎo)致同一個(gè)廣告位的價(jià)格經(jīng)常會(huì)有大幅度的起伏。相比之下,廣義次高價(jià)拍賣則可以引導(dǎo)競拍者總是按照自己的支付意愿出價(jià)。這樣,拍賣結(jié)果總是相對穩(wěn)定的,同一廣告位的價(jià)格波動(dòng)不會(huì)太大。

由于可供搜索的關(guān)鍵詞難以計(jì)數(shù),因而谷歌可以拍賣廣告的位置也就遠(yuǎn)遠(yuǎn)高于雅虎這樣的分類門戶網(wǎng)站。在關(guān)鍵詞廣告取得成功之后,谷歌又進(jìn)一步開發(fā)出了很多廣告形式。目前,廣告業(yè)務(wù)已成為了谷歌財(cái)務(wù)收入的支柱。在剛剛過去的2023年,谷歌的廣告收入約為2378.6億美元,占到了其總營收的77.4%。

搜索引擎的護(hù)城河是什么

在一個(gè)競爭的市場上,如果一家企業(yè)獲得了超額的高利潤,那么它的業(yè)務(wù)一定會(huì)引來對手的垂涎。在谷歌取得成功之后,有大批的競爭者試圖蠶食其市場地位。比如,2009年,微軟就高調(diào)地推出了自己的搜索引擎必應(yīng),但即使如微軟這樣的財(cái)雄勢大,至今也僅僅從谷歌手中搶到了區(qū)區(qū)幾個(gè)百分點(diǎn)的份額。至于其他的同類挑戰(zhàn)者,除了像百度、Yandex等因地緣因素占據(jù)了一些地區(qū)的市場外,幾乎都早已消失在了歷史的長河中。

那么,究竟是什么力量讓谷歌在搜索市場上保持了長盛不衰?或者說,谷歌究竟擁有哪些護(hù)城河呢?

比較常被提及的兩個(gè)因素是規(guī)模效應(yīng)和網(wǎng)絡(luò)效應(yīng)。

先看規(guī)模效應(yīng)。要完成高質(zhì)量的信息檢索,就必須盡可能完整地搜集網(wǎng)絡(luò)上所有的相關(guān)信息,并且高效地將這些信息進(jìn)行排列。這一切的實(shí)現(xiàn),都需要投入巨大的固定成本。尤其是在移動(dòng)互聯(lián)時(shí)代到來后,越來越多的信息被封閉在一個(gè)個(gè)的應(yīng)用中,要將信息從這些封閉的應(yīng)用中挖掘出來,難度可想而知。相比于這些前期投入的成本,后續(xù)搜索產(chǎn)生的邊際成本則是可以忽略不計(jì)的。在這種情況下,后來的競爭者在和谷歌這樣的在位企業(yè)的競爭中就會(huì)有先天的劣勢。

再看網(wǎng)絡(luò)效應(yīng)。從經(jīng)濟(jì)性質(zhì)上看,谷歌這樣的搜索引擎是一個(gè)雙邊平臺(tái)。一方面,它用免費(fèi)的搜索服務(wù)來獲取用戶;另一方面,它用獲取到的用戶來吸引廣告商。搜索用戶越多,不僅可以讓它有更好的口碑,從而對新的搜索用戶更有吸引力,還可以讓它更受廣告商的歡迎。當(dāng)它有了更多的廣告商,獲得了更多的利潤后,它又有更多的資源改進(jìn)服務(wù),從而吸引更多的搜索用戶。這樣的一種良性循環(huán),就會(huì)讓谷歌在競爭中占據(jù)更有利的位置。

誠然,以上這兩個(gè)因素確實(shí)是谷歌的重要護(hù)城河。但除了它們之外,谷歌其實(shí)還有一個(gè)常被人忽略的壁壘。在實(shí)踐中,為了保證可以及時(shí)充分地獲取某一個(gè)網(wǎng)站的信息,搜索引擎就需要對這個(gè)網(wǎng)站部署網(wǎng)絡(luò)爬蟲。由于爬蟲程序通常會(huì)損害網(wǎng)絡(luò)的運(yùn)行效率,因而網(wǎng)站的運(yùn)營者會(huì)采用反爬手段,禁止爬蟲的部署,這就會(huì)使大部分搜索引擎很難抓到想要的信息。不過,對像谷歌這樣的頭部搜索引擎,網(wǎng)站的運(yùn)營者們多會(huì)網(wǎng)開一面,因?yàn)閷τ诖蟛糠秩藖碚f,自己的網(wǎng)站能被谷歌檢索到其實(shí)是一種榮幸。這樣一來,谷歌就事實(shí)上被賦予了一種獲取信息的特權(quán),而這對于一個(gè)優(yōu)質(zhì)的搜索引擎來說,是至關(guān)重要的。如果說對于像規(guī)模經(jīng)濟(jì)、網(wǎng)絡(luò)效應(yīng)這樣的護(hù)城河,競爭對手只要有充足的資金還有機(jī)會(huì)突破,那么這種事實(shí)上的特權(quán)優(yōu)勢就幾乎沒有破解的可能。在我看來,這才是讓谷歌至今還能在通用搜索市場上保持“獨(dú)孤求敗”地位的主要原因。

邊緣地帶的革命

既然谷歌已經(jīng)憑借其獨(dú)特的先發(fā)優(yōu)勢,穩(wěn)穩(wěn)地占據(jù)了市場上的有利地位,那么想做搜索的競爭者是不是就徹底沒戲了呢?這倒也未必。事實(shí)上,至少有兩種思路可以讓競爭者們能夠在搜索市場上分到一杯羹:一種是占據(jù)某一利基市場;另一種則是顛覆這個(gè)市場。

先看占據(jù)利基市場這個(gè)思路。具體來說,這條思路又有兩種實(shí)現(xiàn)路徑:

一種路徑是專注于某一個(gè)垂直的市場,做這個(gè)垂直市場上的搜索服務(wù)。我們看到,谷歌雖然在通用搜索市場上具有不可戰(zhàn)勝的地位,但在具體的垂直市場上,它的優(yōu)勢并不明顯。比如,專業(yè)的數(shù)據(jù)公司可能在汽車市場上深耕多年,并積累了大量的數(shù)據(jù),那么它就可以在汽車這個(gè)局部的市場上做出更好的搜索引擎。事實(shí)上,現(xiàn)在的市場上,已經(jīng)有了不少著名的垂直類搜索引擎,如Mocavo,Nuroa,Trulia和Yelp等,表現(xiàn)都非常不錯(cuò)。

不過,垂直類的搜索引擎還存在著一個(gè)很大的弱項(xiàng),即它本身還對谷歌這樣的通用搜索引擎有很大的依賴。現(xiàn)實(shí)中,當(dāng)人們要獲取某個(gè)垂直行業(yè)的信息時(shí),可能并不知道這個(gè)行業(yè)都有哪些專用的搜索引擎。為了找到它們,他們可能還需要用谷歌等通用搜索引擎來檢索。在這種情況下,谷歌就事實(shí)上是決定了哪些垂直搜索引擎可以被看見的“守門人”。在某些條件下,如果它發(fā)現(xiàn)哪個(gè)垂直領(lǐng)域的搜索業(yè)務(wù)很有賺頭,它甚至可以直接下場做一個(gè)該市場的垂直搜索引擎,然后操縱通用搜索結(jié)果,將用戶轉(zhuǎn)向自己。實(shí)際上,谷歌在現(xiàn)實(shí)中已經(jīng)這么做了。比如在歐盟的“谷歌購物比價(jià)案”中,谷歌就運(yùn)用自己在通用搜索引擎市場上的優(yōu)勢,將用戶導(dǎo)向自己的比價(jià)引擎。盡管這個(gè)行為最終被歐盟認(rèn)定為非法,谷歌也因此遭到了天價(jià)的處罰,但這個(gè)案例本身還是說明了垂直類搜索其實(shí)是一個(gè)可能處于風(fēng)險(xiǎn)中的買賣。

另一條路徑是平臺(tái)內(nèi)或應(yīng)用內(nèi)搜索。在現(xiàn)實(shí)中,很多平臺(tái)或應(yīng)用本身就培養(yǎng)了巨大的生態(tài),這時(shí),其生態(tài)內(nèi)的內(nèi)容就足以支持一個(gè)成功的搜索引擎。

以我們熟悉的微信為例:在微信內(nèi)部,其公眾號和視頻號積累了巨大的內(nèi)容資源。盡管從內(nèi)容的全面性和豐富性上看,這些內(nèi)部資源還很難和全網(wǎng)的資源相比,但從質(zhì)量上看,它們卻比后者更好。因此,現(xiàn)在越來越多的用戶在想查找某些信息時(shí),會(huì)考慮微信的內(nèi)部搜索,而非通用搜索引擎。類似的例子,國內(nèi)還有小紅書、抖音等,它們的內(nèi)部搜索在很大程度上已經(jīng)成為了人們制定旅游攻略時(shí)的首選搜索引擎。

在國外,亞馬遜的內(nèi)部搜索則是一個(gè)非常好的平臺(tái)內(nèi)搜索案例。作為全球最大的電商平臺(tái),亞馬遜內(nèi)部的商品量和入駐的第三方賣家數(shù)都十分龐大,用戶要檢索商品就必須依賴搜索。賣家們?yōu)榱四茏屪约旱纳唐帆@得一個(gè)更顯著的展示位置,大多會(huì)愿意向亞馬遜支付一定的費(fèi)用。在這種情況下,亞馬遜就可以像谷歌一樣,對搜索的關(guān)鍵詞進(jìn)行拍賣。由于和在谷歌上的搜索相比,這種內(nèi)部搜索的最終轉(zhuǎn)化率通常要高上很多倍,因此亞馬遜內(nèi)部搜索的關(guān)鍵詞也就可以比谷歌的關(guān)鍵詞拍出更高的價(jià)格。根據(jù)亞馬遜的財(cái)報(bào),目前亞馬遜的年廣告收入已經(jīng)接近400億美元,而其中的大部分就來自于關(guān)鍵詞廣告的拍賣所得。

這里尤其值得一提的是,相比于那些垂直搜索引擎,應(yīng)用內(nèi)和平臺(tái)內(nèi)搜索可以說是更為安全的生意。畢竟,它們可以用技術(shù)的手段屏蔽通用搜索引擎的爬蟲,然后整個(gè)內(nèi)部生態(tài)就成了它們自己的地盤。

不同的變革方向

相比于占據(jù)某一個(gè)利基市場,用某些顛覆性的技術(shù)來挑戰(zhàn)既有的市場霸主無疑是更讓人激動(dòng)的。自搜索引擎技術(shù)成為人們上網(wǎng)沖浪的主要入口之后,人們就沒有停止過對新的搜索思路的探索,并且已經(jīng)在很多不同的方向上取得了進(jìn)展。

第一個(gè)方向是增加對用戶個(gè)性化的考慮。該方向的思路是比較直觀的:不同的用戶搜尋同一個(gè)關(guān)鍵詞,他們想要得到的信息可能是不一樣的。比如,一個(gè)家庭主婦搜索“蘋果”,她可能是想找哪兒有更便宜的蘋果賣,而一個(gè)科技發(fā)燒友搜索“蘋果”,他想要了解的則可能是新型蘋果手機(jī)的信息。因而,根據(jù)不同用戶提供不同的搜索結(jié)果,就被視為了人們變革搜索技術(shù)的一個(gè)重要方向。

在這個(gè)方向上,已經(jīng)有了很多實(shí)踐。比如,基于地理位置的搜索,就是推進(jìn)搜索個(gè)性化的一類嘗試。很顯然,身處不同地區(qū)的人在搜尋某些信息時(shí)希望尋找的信息是不同的。比如當(dāng)我們搜尋“外賣”時(shí),最可能希望查找的是附近有哪些可供選擇的外賣。要滿足用戶的類似需要,就要結(jié)合其所處的地理信息對搜索的結(jié)果進(jìn)行重新篩選。目前,這種基于地理位置的搜索已經(jīng)得到了很多的應(yīng)用,如美團(tuán)、餓了么等外賣應(yīng)用當(dāng)中,就都搭載了這種搜索技術(shù)。又如,基于用戶搜索的上下文進(jìn)行的語義搜索是推進(jìn)搜索個(gè)性化的另一類嘗試。其實(shí)這個(gè)思路很早時(shí)就在搜索領(lǐng)域得到了應(yīng)用,例如一個(gè)名叫AskJeeves的搜索引擎可以讓用戶選擇允許網(wǎng)站記錄自己的使用偏好,然后網(wǎng)站就會(huì)根據(jù)這些信息,向用戶輸出他們最可能想找的信息。

如果沿著個(gè)性化思路走到極致,搜索就演化成了定向推薦。關(guān)于定向推薦的力量,我們已經(jīng)在很多短視頻軟件那里充分體會(huì)到了??梢钥吹?,如果從滿足用戶需求的角度看,定向推薦無疑已經(jīng)取得了極致的成功。不過,不少觀點(diǎn)都認(rèn)為,它可能讓用戶陷入信息繭房。因此,從幫助用戶獲取信息的角度看,這是否可以算作成功,其實(shí)是頗值得商榷的。

第二個(gè)方向是應(yīng)用知識(shí)圖譜、語義網(wǎng)等技術(shù)為用戶提供更為集中的信息。最初,當(dāng)用戶在搜索引擎中輸入關(guān)鍵詞后,搜索引擎只會(huì)返回對應(yīng)的網(wǎng)頁。在這種情況下,人們還需要從這些網(wǎng)頁中自行總結(jié)出自己需要的信息。很多時(shí)候,這其實(shí)是非常浪費(fèi)時(shí)間的。針對這一點(diǎn),一些搜索引擎就應(yīng)用知識(shí)圖譜等技術(shù),針對用戶輸入的關(guān)鍵詞,將搜索到的信息先進(jìn)行一定的綜合,然后再呈現(xiàn)給用戶。比如,如果我們在谷歌、必應(yīng)等搜索引擎中搜索“馬斯克”,那么引擎除了輸出相關(guān)的網(wǎng)頁之外,還會(huì)給出一個(gè)由其生成的馬斯克簡介。如果用戶僅僅想了解一下馬斯克的基本信息,那只要看這個(gè)簡介就已經(jīng)足夠了。

第三個(gè)方向是對可搜索內(nèi)容的擴(kuò)展。過去,搜索引擎只能支持文字的輸入,但有時(shí)候,這其實(shí)是不夠的。比如,人們在野外看到一朵花,希望知道它的名字,那么之前的搜索引擎就不能給他們提供任何幫助。而隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,直接對圖形進(jìn)行搜索也已經(jīng)成為了可能?,F(xiàn)在,如果我們再遇到不認(rèn)識(shí)的花,只要用手機(jī)拍下它的照片,并將其上傳到搜索引擎,就可以獲得關(guān)于它的各種信息。

第四個(gè)方向是對交互方式的改進(jìn)。傳統(tǒng)上,用戶執(zhí)行搜索任務(wù)只能在搜索框中輸入關(guān)鍵詞,然后坐等搜索結(jié)果的返回。從用戶體驗(yàn)看,這種人機(jī)交互的模式并不算好。針對這一問題,探索與搜索引擎之間的新交互方式一直是人們努力的一個(gè)重要方向。目前,人們已經(jīng)找到了不少與搜索引擎交互的新方式。比如,用語音向搜索引擎輸入關(guān)鍵詞。另外,由Perplexity公司在2022年推出的Perplexity.AI則首創(chuàng)了對話式搜索。用戶可以通過和搜索引擎的不斷交互來不斷明確自己的需求,從而讓輸出結(jié)果變得更有針對性。

盡管人們已經(jīng)在很多不同的方向上對傳統(tǒng)的搜索引擎進(jìn)行了改進(jìn),這些創(chuàng)新也讓一些搜索新秀們成功地占有了一些局部市場,但目前還沒有哪個(gè)搜索引擎在通用搜索市場上對谷歌這個(gè)傳統(tǒng)搜索巨頭構(gòu)成全面的威脅。

造成這一現(xiàn)象的原因是多方面的。一方面,雖然各種改進(jìn)都可以為新的競爭者進(jìn)入帶來一些機(jī)會(huì),但從搜索的本質(zhì)看,一個(gè)搜索引擎成功的必要前提還是要能夠掌握廣泛、及時(shí)的信息。然而,從前面的討論可以看到,在谷歌占據(jù)了先發(fā)優(yōu)勢的條件下,這個(gè)前提是很難滿足的。另一方面,在很多的改進(jìn)方向上,谷歌本身就是創(chuàng)新的引導(dǎo)者。例如,在基于地圖的搜索、基于知識(shí)圖譜的搜索,以及語義搜索等方面,谷歌都是作為引領(lǐng)者的形象出現(xiàn)的。從這個(gè)意義上看,雖然我們看到的只是谷歌一直站在原處,但其原因卻是因?yàn)樗恢痹诒寂堋?/p>

AI能動(dòng)搖谷歌嗎

那么,隨著生成式AI技術(shù)的普及,谷歌在搜索市場上的地位會(huì)被動(dòng)搖嗎?在我看來,至少在短期,谷歌的地位可能還很難被動(dòng)搖。

事實(shí)上,如果我們拆解一下必應(yīng)、Perplexity.AI等調(diào)用了AI能力的搜索引擎,就會(huì)發(fā)現(xiàn)它們本質(zhì)上是將過去十幾年中搜索引擎的各種發(fā)展方向進(jìn)行了整合,但并沒有在一些搜索的基本功能上進(jìn)行改進(jìn)。以必應(yīng)為例,雖然在搭載了GPT模型之后,它可以用對話的方式更好地和用戶交互,但由于它在數(shù)據(jù)爬取、數(shù)據(jù)整理等方面比起谷歌依然存在著劣勢,所以呈現(xiàn)出的結(jié)果依然很難得到用戶的認(rèn)可。很多用戶發(fā)現(xiàn),在采用必應(yīng)進(jìn)行搜索時(shí),其輸出的內(nèi)容在時(shí)效性和關(guān)聯(lián)性上都要遠(yuǎn)遜于谷歌。由于在這些基本能力上處于劣勢,所以它很難通過交互模式等方面的改進(jìn)來實(shí)現(xiàn)對谷歌的彎道超車。

另外需要注意的是,將AI引進(jìn)搜索之后,還有非常大的風(fēng)險(xiǎn)。受技術(shù)條件的限制,目前的大語言模型還很難避免“幻覺”問題,AI經(jīng)常會(huì)在和用戶的對話中編造一些虛假的內(nèi)容。如果僅僅是將這些內(nèi)容應(yīng)用于聊天或者娛樂,那固然無傷大雅,但一般來說,人們調(diào)用搜索引擎的首要目的是要尋找可靠的信息。在這種情況下,幻覺的影響可能就是致命的。雖然必應(yīng)為了防止幻覺的干擾做了很多努力,比如要求在輸出答案時(shí)標(biāo)明出處,但測試表明,這并不能根除幻覺現(xiàn)象的干擾。

基于以上分析,可以得出結(jié)論:雖然生成式AI的價(jià)值十分巨大,并且它也確實(shí)會(huì)為搜索領(lǐng)域帶來很多有意思的新東西,但至少在短期,它應(yīng)該還遠(yuǎn)沒有達(dá)到徹底改變這個(gè)市場的規(guī)則、動(dòng)搖以谷歌為代表的傳統(tǒng)巨頭的程度。更有可能的情況是,類似ChatGPT這樣可以與人交互的AI會(huì)和谷歌這樣傳統(tǒng)的搜索引擎長期并存,就像當(dāng)年的谷歌和雅虎并存一樣。至于在長期,AI能否全面取代搜索引擎,這恐怕還需要更長的時(shí)間來檢驗(yàn)。

 

版權(quán)聲明:以上內(nèi)容為《經(jīng)濟(jì)觀察報(bào)》社原創(chuàng)作品,版權(quán)歸《經(jīng)濟(jì)觀察報(bào)》社所有。未經(jīng)《經(jīng)濟(jì)觀察報(bào)》社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,否則將依法追究相關(guān)行為主體的法律責(zé)任。版權(quán)合作請致電:【010-60910566-1260】。

熱新聞