作者:Sia
拥有智能索引库、专属知识库、混合大模型调度系统的 AI 原生搜索,能否成为正统,引领搜索引擎的下一个三十年?
如今的科技界,没有比 AI 搜索更强的新共识了。
在过去的几十年里,以 Google、百度为代表的「搜索引擎」,和以抖音、TikTok 代表的「推荐引擎」,轮番引领了信息经济的发展。
而今天,大语言模型( LLM )的出现,有望进一步增强搜索引擎的地位和价值,让它以 AI 搜索的新身份,再次引领人工智能应用的浪潮。
一、保守还是激进?涌向 AI 搜索的三大支流
AI 正成为「端掉」传统搜索引擎业务的最大变量,但如何实现 AI 搜索,争议不绝。目前,涌向 AI 搜索的众多玩家已经分化出三股主要支流,各自蜿蜒前行:保守派,中间派,原生派。
保守派以 Google AI Overviews,和国产搜索「AI 智能回答」为代表,即在现有搜索引擎上添加 AI 功能模块,增强传统搜索性能。
以 New Bing 为代表的中间派,虽然通过 AI 对搜索进行了更加深入的改造,但保留了传统搜索引擎这个「基础设施」,也有人称之为「答案引擎」。
最激进的当属 Perplexity、360AI 搜索为代表「原生派」——从 0 到 1 打造 AI 原生的搜索引擎,因其回答质量更高,信息结构化更强,也被称为「知识引擎」。
业内人士认为,在人工智能时代,如果按照「含 AI 量」来为搜索引擎做代际划分,那么:
保守派仅对搜索引擎做了「插件」化改造,AI 含量最低,只能算是搜索引擎 1.0 。
中间派对传统搜索引擎的改造比较深入,AI 含量明显上升,具有较强的生成回答的能力,可以称之为搜索引擎 2.0 。
「为 AI 而生」的原生搜索引擎,将 AI 作为系统中无法分割的一部分,含 AI 量最高,被称为搜索引擎 3.0 。
如果用户仅需网址导航,传统搜索引擎和搜索引擎 1.0 完全够用。一旦搜索需求变复杂,包含推理、计算等要求,不同代际的搜索引擎表现差距,就立刻凸显出来。
举个例子。我们先问 Google,「《里斯本丸沉没》豆瓣评分高达 9.3,口碑炸裂,为什么票房才 1000 万?」
「怎么吃石头?——石头要磨细了吃,咽不下的时候还用水来送服,石头有很丰富的营养」
「怎么不让芝士从披萨上滑落?——在酱汁中加入 1/8 杯无毒胶水」
「怀孕时抽烟怎么样?——医生建议怀孕期间每天抽 2-3 根烟」
当然,这并不意味着 Google 的 AI 技术逊于其他公司。问题的根源在于,AI 系统仅充当传统搜索引擎的插件,被内容不准确、但用户点击较多的网页搜索结果带沟里了。
传统搜索引擎倾向于 CTR 导向( Click Through Rate ,点击率),这直接关系到广告收入,所以,返回内容往往倾向点击率高的网页(很多时候是一些 UGC 网站,比如论坛、知识问答网站,或者「内容农场站」和「 AI 内容站」),而不是最准确的答案。一旦遭遇标题党、误导甚至错误答案,大模型也会跟着翻车。
尽管有些心理预期,提问 「如何评价 17 岁中专生姜萍闯入 2024 阿里全球数学竞赛决赛」 ,选择「深入回答」模式后,360AI 搜索的表现还是让人感到意外。
视频链接:https://mp.weixin.qq.com/s/zPHXa3Fh0rxJT9rRGAtOBA
阅读了全网 46,834 篇相关资料,精选 39 篇文章,它很快整出一篇小作文,不仅篇幅可观,内容也非常丰富。除了开门见山汇总了社会各界对姜萍闯入决赛的评价,还谈到了她的预赛表现和个人特点,最后「升华」到讨论中专生参加这类竞赛的优势与挑战。
在严谨性上,几乎每个论点都会标注相关论据内容出处,方便读者进一步核实。全文一共有 25 个引注,还附上了全部 39 篇文章链接。
在呈现方式上,除了文字,还有姜萍、决赛榜单等相关新闻图片以及思维导图。
如果 AI 原生搜索引擎投入大、回报低,那么再好的搜索质量也无法帮助它完成商业闭环。
二、AI 原生虽好,「三大支柱」门槛高
要打造一个真正的 AI 搜索引擎,门槛和投入不可谓不高。
360 集团副总裁、AI 产品负责人梁志辉估算,要打造一个通用搜索引擎,至少需要 20 亿至 40 亿元的预算。这还不包括网页排名的服务器成本、终端厂商合作费用和人力资源开支。这也正是为何全球只有少数几家通用搜索引擎的原因。
从技术架构层面来看,一个可以被称为「知识引擎」的 AI 原生通用搜索引擎,包括了「智能索引库+专属知识库+混合大模型智能调度系统」三大支柱。
1、智能索引库
对于一个搜索引擎而言,自建索引库也非常重要,但同时成本极为高昂。即使是传统搜索引擎,爬取 1000 万个网页就需要投入百万级预算。而这仅仅是冰山一角。
因此,除了极少数创业公司选择自建小规模的垂直索引库,市面上的多数所谓 AI 搜索产品,实际上依赖于购买 Google 或微软 Bing的 API 服务,这又带来两个显著问题。
首先,成本高昂。调用 Google 或 Bing 的索引库需要购买昂贵的第三方服务,这可能会吞噬企业的全部利润,使得项目难以维系。
其次,知识理解受限。若选择接入现有的索引库服务(如 Perplexity AI ),通常只能获取与查询相关的约 100 字信息。这种限制使得大模型无法对内容全文进行通读和深入分析,导致对许多知识的理解变得片段化和表面化。
作为 2012 年就开始做搜索的老牌厂商,360 搜索已经建立了约由 1000 亿个网页构成的动态更新索引库,这也为 360AI 搜索奠定了基础。
但对于 AI 搜索来讲,索引技术和索引库同样重要。在传统关键词索引之外,360AI 搜索使用向量索引、KV 索引等技术,对索引库进行了重构,使得索引效率大幅提升。
2、专属知识库
知识库是知识引擎的「高质量内容原料」,更多用于复杂推理和深度理解任务。但公域的内容质量整体下降,优质内容逐渐被有丰富内容的 App 分走。通过自建、购买和合作等方式,360AI 搜索的知识库收录了大量的高质量内容来源,包括但不限于论文、知识视频、访谈节目、课堂录音、专业网站等。
而且,通过对知识库引入了 GraphRAG,利用知识图谱进行检索,处理复杂查询更加得心应手。这使得专属知识库内容能够以大模型最容易理解和计算的方式来抓取、索引、召回,让优质知识真做到「可计算」,「可理解」。
3、混合大模型智能调度系统
生成式大语言模型,是 AI 搜索能够输出结构化高质量内容的关键。但一个直接接入大模型的 AI 搜索并不高效,也不足够智能,因为每一个大模型都有短板。360AI 搜索的解决方案是,构建了一个CoE( Collaboration-of-Experts,专家协同)技术架构,用实现了对包括 360 智脑在内 16 家主流国产大模型厂商、54 款大模型,和大量的专家模型的智能调度。
CoE 架构的技术原理,和近日刚刚发布的 OpenAI o1-preview 大模型理念相同、方法类似,都是基于强化学习和「思维链」 ,大幅优化了记忆、检索、推理机制,提升了大模型解决复杂问题的能力。
只不过不同点在于,OpenAI o1遵循的可能是「双系统理论( Dual Process Theory)」,是 GPT 和 o 系列结合思维链的融合系统,前者用于「快思考」,后者实现「慢思考」。而 CoE( Collaboration-of-Experts,专家协同)架构则集合了数量更多的大模型和专家模型,是通过思维链和「多系统协同」的方式实现「快思考」和「慢思考」。另一个不同点在于,CoE 架构的发布时间,要比 o1 早了接近两个月。
这种分工协作的模式,使得 CoE 架构在推理任务中的表现更加灵活且精准,尤其在处理复杂问题时,能与 OpenAI o1 媲美,甚至在某些场景下更胜一筹。
而具有技术前瞻性的 CoE 架构所支撑的混合大模型智能调度系统,正是 AI 搜索的第三大支柱。
在 CoE 架构面世之前,国际主流的大模型调度系统是 MoE( Mixture-of-Experts ,专家混合)架构。但是,MoE 架构一次只能让一个专家模型回答问题,又由于单个模型能力有限,无法及时对网页内容去伪存真,答案也难免带有幻觉和噪声。
在 CoE 的工作流程中,人们输入的问题首先给到能够识别 1 亿多种意图分类的专家模型;在完成意图识别后,再交给任务路由模型进行复杂任务拆解,决定任务由哪款模型来处理,或是哪几款模型进行配合。通过对任务的细致分解和不同模型能力调度,大大提升了答案的准确性、时效性和严谨性。
「今天你看到的 AI 搜索背后,一个简单的搜索至少有 7 次模型调用,一个深度回答至少有 15 次大模型调研。它的背后不仅有意图识别,还有多种能力调度、阅读分析、任务编排等等,」梁志辉说道。
在高门槛、高投入之下,AI 搜索确实实现了更好的效果。越来越多的用户也选择「用脚投票」。
8 月数据显示,1 月底上线的 360AI 搜索用户访问量已超 2 亿,是 Perplexity AI 三倍以上,并且还在以 113% 的月增速增长。不仅蝉联全球最大 AI 原生搜索引擎,还是全球增速最快的主要 AI 搜索引擎。
让我们重新抬头看如今的搜索引擎市场。一面是,传统搜索引擎已经挖掘了所有可能性,也充分暴露了其弊端;而另一面,转向 AI 搜索的保守派、中间派、原生派的不同路线以及其各自产品的优劣,也已经清晰地呈现在人们眼前。
不过,人们还是会心存疑虑:
AI 原生搜索引擎效果虽好,但如今的 AI 原生应用鲜有单独实现商业闭环的,而单次搜索就需要 7-15 次模型调用的 AI 搜索,是否永远无法实现商业闭环?又或者,这样的模式会不会只是昙花一现?
三、「革自己的命」,鲶鱼无惧
没错,推理成本,就是 AI 搜索商业模式能否闭环的关键因素。
对于传统搜索引擎而言,Google 的单次搜索成本仅为 0.2 美分。而以 360AI 搜索为代表的 AI 原生搜索引擎,单次搜索有 7-15 次大模型调用,推理成本则要高得多,但这个问题并非无解。
事实上,通过巧妙地选择和整合不同的 AI 模型,CoE 架构可以充分利用各模型的分析优势和差异化定价结构,以此提升产品性能并控制成本。国内第三方大模型激烈价格战也为 AI 搜索成本的整体下降奠定了基础。此外,通过为大模型厂商提供用户和「bad case」反馈,360AI 搜索与大模型厂商之间已经形成了互利合作关系。从长远趋势来看,情况也在好转,推理成本呈快速下降态势,有点类似摩尔定律。
尽管 AI 搜索的商业模式仍未完全建立,但这更多只是一个时间问题。微软 CEO 纳德拉强调:「据我所知,搜索业务是地球上软件业务中最赚钱的,我所需要的是更多的用户。」因此,我们完全不必担心一个大用户量的搜索引擎会一直赔钱。据了解, 360AI 搜索已经实现了商业闭环。
创始人周鸿祎曾把 360 比喻为中国互联网的「鲶鱼」,不是巨头,不是鲨鱼。这条「鲶鱼」,早在十二年前,就以「3百大战」的方式,搅动了中国搜索市场,至今仍然位列中国搜索引擎市场第二名。
十二年后,人工智能浪潮来袭,市场风云再起。秉承一贯的快速行动力,360 这条「鲶鱼」仅用八、九个月时间就迅速超越 Perplexity AI,一跃成为全球规模最大的 AI 原生搜索引擎,而且势能不减,依然全球增速最快。
纵观全球商业史,在几乎每一场需要「自我革命」的科技浪潮中,行业老二都往往比行业老大更果断、更有勇气,也更具灵活性。庞大的沉没成本迫使传统巨头们采取「保守式」创新,以期步步为营,柯达、诺基亚、谷歌和百度亦是如此。而另一方面,对于「没有历史包袱」的初创企业而言,AI搜索领域也并非「颠覆式创新」的理想突破口。
目前,AI 搜索还处于快速发展过程中,搜索体验将继续快速提升,与传统搜索引擎的差距也将越拉越大。AI 搜索会让搜索引擎从信息检索工具,进化成帮助用户完成知识探索的「知识引擎」,并最终,凭借不可逆的历史趋势,取代传统搜索引擎,成为用户检索信息、获取知识的首选。