Generative AI’s系列 | 红杉资本对生成式 AI的预判

   日期:2024-12-25    作者:fcy39 移动:http://ljhr2012.riyuangf.com/mobile/quote/19403.html

汇集来自红杉资本近三年对生成式人工智能的预判。

Generative AI’s系列 | 红杉资本对生成式 AI的预判

Generative AI: A Creative New World

发布时间 2022 年 9 月 19 日

当前最先进的模型在文本领域表现突出,模型在撰写短篇和中篇内容方面已经相当出色,通常用于创作初稿或迭代过程。随着技术的进步,输出质量的提升、内容长度的增加以及对特定领域将更好适应。
在代码生成方面,如GitHub CoPilot所示,这一领域有望在短期内显著提升开发者的工作效率。同时,它也使得非专业开发者更容易地以创造性的方式使用代码。
图像生成是一个新兴领域,例如在Twitter上分享生成的图片比文字更有趣。我们观察到不同美学风格的图像模型的出现,以及用于编辑和修改生成图像的各种技术。
语音合成技术已经发展了一段时间(例如Siri),对于电影、播客等高端应用,实现听起来自然的一次性人类语音质量仍然具有挑战性。不过,当前的模型为进一步改进实用应用或最终输出提供了一个基础。
视频和3D模型技术正在迅速进步,它有望开启电影、游戏、虚拟现实、建筑和实体产品设计等大型创意市场。
在其他领域,如音频、音乐、生物学和化学(例如生成蛋白质和分子)也在进行基础模型的研发。这些领域的进展预示着未来可能在更多行业中实现创新和应用。

下图说明了基本模型的未来进展以及可能发生的相关应用的时间表。

文案创作:随着对个性化网络和电子邮件内容的需求日益增长,以促进销售、市场营销策略和客户支持,语言模型成为了理想的应用工具。文案的简洁性和风格化特点,加上团队面临的时间和成本压力,预计将推动对自动化和增强型解决方案的需求。

专业领域写作助手:目前大多数写作助手都是通用型的;我们看到了为特定行业市场开发更精准的生成应用的机会,无论是法律合同撰写还是剧本创作。这些产品的优势在于针对特定工作流程的模型和用户体验(UX)设计的精细调整。

代码生成:现有的应用程序已经为开发者提供了强大的动力,提高了他们的工作效率:GitHub Copilot在安装了它的项目中生成了近40%的代码。但更大的机会可能在于为普通消费者开启编程的大门。学习提示可能成为终极的高级编程语言。

艺术创作:艺术史和流行文化的丰富世界现在都蕴含在这些大型模型中,使得任何人都能够自由探索那些以往需要一生才能掌握的主题和风格。

游戏开发:理想是使用自然语言创建可操作的复杂场景或模型;虽然这种最终状态可能还很遥远,但短期内有更多直接的选择更具可操作性,比如生成纹理和天空盒艺术。

媒体/广告:想象一下自动化代理工作并为消费者动态优化广告文案和创意的潜力。这里有很多机会生成多模式内容,将销售信息与互补的视觉效果配对。

设计:数字和物理产品的原型设计是一个劳动密集型的迭代过程。从粗略草图和提示生成高保真渲染已经成为现实。随着3D模型技术的出现,创成式设计流程将一直延伸到制造和生产——从文本到实物。你的下一个iPhone应用或运动鞋可能由机器设计。

社交媒体和数字社区:有没有使用生成工具表达自己的新方式?随着消费者学习在公共场合创作,像Midjourney这样的新应用程序正在创造新的社交体验。

未来的生成式 AI 应用程序会是什么样子?

生成式 AI 应用程序会是什么样子?以下是一些预测。
智能和模型微调:
生成式AI应用依赖于大型基础模型,如GPT-3。
随着用户数据的积累,这些模型可以被微调以提升特定任务的性能和降低模型的复杂度及成本。这种微调使得应用能够更精准地服务于特定的需求。
外形规格:
生成式AI通常以插件形式融入现有的软件生态,如集成到IDE、图像编辑软件或社交平台中。此外,也有一些专门的Web应用,如文案生成器和视频编辑工具。这些应用可以作为现有工作流程的补充,提供额外的功能和便利。
交互范式:
生成式AI的交互方式正从单一的输入输出模式转变为更加迭代和互动的过程。用户不仅可以获取一次性的输出,还可以对输出进行修改和优化,从而生成更多样化的内容。这种迭代过程使得AI输出更加贴近用户的最终需求。
持续的品类领先地位:
领先的生成式AI公司通过不断优化模型和提升用户体验来维持其市场地位。他们通过收集用户数据来改进模型,提供更好的服务来吸引更多用户,从而形成一个正向的循环。这些公司可能会选择专注于特定的领域,通过深度集成和创新的工作流程来取代传统的应用程序,从而实现持续的增长和成功。

Generative AI’s Act Two

发布时间 2023 年 9 月 20 日

市场地图
与去年的地图不同,选择按用例而不是按模型模式来组织此地图。
反映市场的两个重要推动力:生成式 AI 从技术锤子演变为实际用例和价值,以及生成式 AI 应用程序日益多模态的性质。

此外,红杉资本还提供了一个LLM 开发人员堆栈,在生产中构建生成式 AI 应用程序时所需要的计算和工具供应商。

我们现在处于什么位置?生成式 AI 的价值问题

用户希望用 AI 让工作更轻松、工作成果更好,所以很多人涌向应用程序。

但是很多应用留存率不高,下图比较了 AI 优先应用程序在第 1 个月的移动应用留存率。

生成式 AI 应用的中位数为 14%(Character 和 “AI 陪伴” 类别除外),用户还没有在生成式 AI 产品中找到足够的价值来每天使用它们。

生成式 AI 最大的问题不是寻找用例、需求或分销,而是证明价值。
模型开发堆栈
基础模型还处于尴尬期,很多AI公司创始人还在着手进行提示工程、微调和数据集管理的艰苦工作。
接下来汇聚了使大模型有用的技术,如何塑造生成式 AI 进行新阶段的UI 范式。
  • 新兴的推理技术,如思路链、思路树和反射,正在提高模型执行更丰富、更复杂的推理任务的能力,缩小客户期望和模型能力之间的差距。开发人员正在使用 Langchain 等框架来调用和调试更复杂的多链序列。
  • RLHF 和微调等迁移学习技术正变得越来越容易获得,尤其是最近推出了 GPT-3.5 和 Llama-2 的微调,这意味着公司可以根据其特定领域调整基础模型并根据用户反馈进行改进。开发人员正在从 Hugging Face 下载开源模型并对其进行微调以实现高质量的性能。
  • 检索增强生成正在引入有关业务或用户的上下文,减少幻觉并提高真实性和有用性。来自 Pinecone 等公司的矢量数据库已成为 RAG 的基础设施支柱。
  • 新的开发者工具和应用程序框架为公司提供了可重复使用的构建块,以创建更高级的AI应用程序,并帮助开发者评估、改进和监控AI模型在生产中的性能,包括像Langsmith和Weights & Biases这样的LLMOps工具
  • Coreweave、Lambda Labs、Foundry、Replicate 和 Modal 等 AI 优先的基础设施公司正在分拆公有云,并提供 AI 公司最需要的东西:以合理的成本提供充足的 GPU,按需提供且高度可扩展,以及良好的 PaaS 开发人员体验。
新兴产品蓝图
  • 生成式接口。基于文本的对话用户体验是 LLM。逐渐地,从 Perplexity 的生成式用户界面到来自 Inflection AI 的人声等新模式,更新的外形尺寸正在进入武器库。
  • 系统范围的优化。一些公司不是嵌入到单个人类用户的工作流程中并提高该个人的效率,而是直接解决系统范围的优化问题。

Generative AI’s Act o1

新的缩放定律:推理竞赛正在进行
o1 论文中最重要的见解是,镇上有一项新的缩放法。
预训练 LLMs 遵循一个众所周知的扩展定律:您在预训练模型上花费的计算和数据越多,它的性能就越好。
o1 论文为扩展计算开辟了一个全新的平面:您为模型提供的推理时间(或“测试时间”)计算越多,它的推理就越好。

随着 OpenAI、Anthropic、Google 和 Meta 扩展其推理层并开发越来越强大的推理机器,会发生什么?我们会用一种模式来统治他们吗?

生成式 AI 市场开始时的一个假设是,一家单一的模型公司将变得如此强大和包罗万象,以至于它将包含所有其他应用程序。到目前为止,这个预测在两个方面是错误的。

首先,模型层存在大量竞争,SOTA 功能不断跨越。有可能有人通过广域自我博弈来不断自我提升并实现起飞,但目前我们还没有看到任何证据。恰恰相反,模型层是一场刀战,自上一个开发日以来,GPT-4 的每个代币价格下降了 98%。

其次,这些模型在很大程度上未能作为突破性产品进入应用层,ChatGPT 是一个明显的例外。现实世界是混乱的。伟大的研究人员没有愿望去了解每个可能的垂直领域中每个可能的函数的端到端工作流程的细节。他们停下来停留在 API 上,让开发者世界担心现实世界的混乱,这既有吸引力,又在经济上合理。应用程序层的好消息。

作为科学家,您为实现目标而计划和实施行动的方式与您作为软件工程师的工作方式大不相同。此外,作为不同公司的软件工程师,情况甚至有所不同。

例如,在 Factory 的情况下,他们的每个 “droid” 产品都有一个自定义的认知架构,该架构模仿人类解决特定任务的思维方式,例如审查拉取请求或编写和执行迁移计划以将服务从一个后端更新到另一个后端。Factory Droid 将分解所有依赖项,提出相关的代码更改,添加单元测试并引入人工审查。然后,在获得批准后,在开发环境中对所有文件运行更改,如果所有测试都通过,则合并代码。就像人类可能做的那样——在一组离散的任务中,而不是一个通用的黑盒答案。

假设您想在 AI 中开展业务。您以堆栈的哪一层为目标?您想在 infra 上竞争吗?祝你好运,击败 NVIDIA 和超大规模公司。您想在模型上竞争吗?祝你好运击败 OpenAI 和 Mark Zuckerberg。您想在应用程序上竞争吗?祝你好运,击败企业 IT 和全球系统集成商。哦。等。这听起来其实很可行!

基础模型很神奇,但它们也很混乱。主流企业无法处理黑匣子、幻觉和笨拙的工作流程。消费者盯着空白的提示,不知道该问什么。这些都是应用层中的机会。

两年前,许多应用层公司被嘲笑为“只是 GPT-3 之上的包装器”。今天,这些包装器被证明是建立持久价值的唯一可靠方法之一。最初的“包装器”已经演变成“认知架构”。

应用层 AI 公司不仅仅是基础模型之上的 UI。远非如此。它们具有复杂的认知架构,通常包括多个基础模型,顶部具有某种路由机制、用于 RAG 的向量和/或图形数据库、确保合规性的护栏,以及模拟人类在工作流中思考推理方式的应用程序逻辑。

这是许多 AI 公司的真正北方。Sierra 受益于具有正常故障模式(升级到人工代理)。并非所有公司都如此幸运。一种新兴模式是首先部署为 Copilot(人在环),并使用这些代表来获得部署为 Autopilot 的机会(无人在环)。GitHub Copilot 就是一个很好的例子。

随着生成式 AI 的新兴推理能力,一类新的代理应用程序开始出现。

这些应用层公司采取什么形式?有趣的是,这些公司看起来与他们的云前辈不同:

  • 云公司将目标锁定在软件利润池上。AI 公司将目标锁定在服务利润池上。

  • 云公司出售软件(美元/席位)。AI 公司出售作品(美元/结果)

  • 云公司喜欢自下而上,实现无摩擦的分发。AI 公司越来越多地采用自上而下的方式,采用高接触、高信任度的交付模式。

我们看到这些代理应用程序的新队列出现在知识经济的所有领域。以下是一些示例。

  •  Harvey:AI 律师

  •  Glean:AI 工作助手

  • 工厂:AI 软件工程师

  • Abridge:AI 医学抄写员

  •  XBOW:AI 渗透测试器

  • Sierra:AI 客户支持代理

通过降低提供这些服务的边际成本(与推理成本的直线下降保持一致),这些代理应用程序正在扩展并创造新的市场。

以 XBOW 为例。XBOW 正在构建一个 AI“渗透测试器”。“渗透测试”或渗透测试是公司为评估自己的安全系统而对计算机系统进行的模拟网络攻击。在生成式 AI 之前,公司仅在有限的情况下(例如,当需要合规时)雇用渗透测试人员,因为人工渗透测试成本高昂:这是一项由高技能人员执行的手动任务。然而,XBOW 现在正在演示基于最新推理 LLMs,它与最熟练的人类渗透测试者的性能相匹配。这使渗透测试市场成倍增加,并为各种形式和规模的公司提供了连续渗透测试的可能性。

作为投资者,我们将把周期花在哪里?资金部署在哪里?这是我们的快速了解。

  • 基础设施

这是超大规模公司的领域。它是由博弈论行为驱动的,而不是微观经济学。对于风险投资家来说,这是一个可怕的地方。

  • 模型

这是超大规模企业和金融投资者的领域。超大规模企业正在用资产负债表换取损益表,投资的资金将以计算收入的形式往返于他们的云业务。金融投资者被 “惊叹于科学 ”的偏见所扭曲。这些模型非常酷,这些团队令人印象深刻。微观经济学该死!

  • 开发人员工具和基础设施软件

战略家不那么有趣,而风险投资家更有趣。在云过渡期间,在这一层创建了 ~15 家收入为 10 亿美元+ 的公司,我们怀疑 AI 也可能如此。

  • 应用程序

  • 生成式 AI 的 Act o1:推理时代开始:

https://wwwhttp://www.360doc.com/content/24/1031/15/article/generative-ais-act-o1/

  • 生成式 AI 的第二幕 |红杉资本 :

https://wwwhttp://www.360doc.com/content/24/1031/15/article/generative-ai-act-two/?itm_medium=related-content&itm_source=

如果觉得不错,欢迎点赞、在看、转发,您的转发和支持是我不懈创作的动力~

如果想第一时间收到推送,可以给我个星标⭐~


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
{