智东西12月6日报道，为期两天的2024中国生成式AI大会（上海站）今日圆满收官。
今天的AI Infra峰会上，上海交通大学副教授、无问芯穹联合创始人兼首席科学家戴国浩认为，业界更应该关注单位算力如何实现更高效的token吞吐，大模型实际可用算力不仅取决于芯片理论算力，还可通过软硬协同优化提高算力利用效率，通过多元异构适配放大整体算力规模。
北电数智智算云负责人郭文，GMI Cloud亚太区总裁King.Cui，阿里云智算集群产品解决方案负责人丛培岩，中昊芯英芯片软件栈负责人朱国梁，光羽芯辰创始人兼董事长周强分别对全栈AI工厂、AI企业出海如何补齐算力短板、高性能智算集群、国产TPU芯片“No CUDA”软件栈、通向个人大模型之路几个主题进行了分享。
枫清科技创始人兼CEO高雪峰，声网生成式AI产品负责人毛玉杰，腾讯云向量数据库技术负责人谢宇，Jina AI联合创始人兼首席技术官王楠，Zilliz合伙人、研发VP栾小凡，英飞流创始人兼CEO张颖峰，Alluxio首席架构师傅正佳分别针对“从数据到知识：AI重塑百行千业的基石”、“生成式AI驱动实时互动的技术变革与体验革新”、“TencentVDB向量数据库”、“RAG范式下AI Infra的机遇和挑战”、“RAG虽强，但向量数据库绝非万灵药”、“新一代企业级多模态RAG引擎”、“高性能AI数据底座”带来了精彩演讲。
下午场的圆桌讨论聚焦“大模型行至深水区，AI Infra的新变化与新机会”，由德联资本执行董事刘景媛主持，Alluxio首席架构师傅正佳，Zilliz合伙人、研发VP栾小凡，英飞流创始人兼CEO张颖峰三位嘉宾给出了自己的真知灼见。
大会首日，17位嘉宾畅谈大语言模型、多模态大模型、具身智能、AI原生应用、音乐生成、3D AIGC、AI智能体的行业应用、垂类行业大模型等前沿议题。
除了大会首日主会场进行的大模型峰会，以及今天主会场的AI Infra峰会，大会分会场也在这两天分别组织了端侧生成式AI技术研讨会、AI视频生成技术研讨会与具身智能技术研讨会，17位青年学者和技术专家带来了报告分享，后续将会上架这三场收费制研讨会的回放。
一、从智算集群到原生加速技术栈，聚焦产业落地痛点突破大模型算力瓶颈
AI的发展带来了巨大的数据、算力以及能源挑战，作为支撑大模型运行以及生成式AI应用开发的关键，AI Infra也走到了台前，发展势头强劲。
如何打造优质的智算中心，如何实现AI从芯片到应用端全产业链的高效协同？多位嘉宾给出了自己的深入见解。
对此，戴国浩教授指出，当下业界更应该关注单位算力如何实现更高效的token吞吐，让大模型的实际可用算力不仅取决于芯片理论算力，还可通过软硬协同优化提高算力利用效率，并通过多元异构适配放大整体算力规模。他分享了其研究团队在软硬协同、多元异构与端侧智能方面的研究进展与落地成果，这些成果能助力行业提升面向大模型场景的token吞吐效率。
郭文称，当下国产芯片落地人工智能产业的最大问题是，算力供给侧与需求侧之间存在产业链断层。为此，北电数智推出首个“国产算力PoC平台”，以北京数字经济算力中心为载体打造具备全栈能力的AI工厂，全线适配与拉通场景、模型到芯片层面，推动智算中心从成本中心转化为推动地区发展新质生产力中心。
GMI Cloud亚太区总裁King.Cui提到，为确保GPU集群的高稳定性，他们使用了具备主动检测功能的自研云集群引擎，实现计算、存储和网络资源的高效调配。
GMI Cloud是NVIDIA Top10 NCP，交付前会进行严格的验证流程。GMI Cloud与IDC协作，提供备件和维修，拥有更短的交付时间，确保停机时间最小化。
阿里云推出支持超大规模分布式训练的灵骏智算集群，可达到10万卡扩展规模，千卡规模线性加速比达到96%；阿里云自研磐久服务器采用CPU和GPU分离，实现单机提升至16颗GPU；网络架构HPN7.0最大规模可连接10万颗GPU。
智算集群稳定性至关重要，阿里云3千卡规模智算集群，在一个月内稳定训练时长占比达99%。
他提到，个人大模型也称为端侧大模型，期待解决端侧智能体在性能、功耗和成本方面的痛点，让真正的AI手机走进生活。端侧AI具备及时性、可靠性、成本低、隐私保护和定制化五大优势。目前，构建端侧大模型的核心是解决存储带宽和容量双重问题。
中昊芯英刹那芯片采用VLIW指令集架构，面对庞大的CUDA生态，他们逐一解决了库、并行计算与编程方面的问题，全自研用户态和内核态驱动，实现了芯片的高效管理。
为做好生态兼容，中昊芯英底层软件栈兼容PyTorch以及所有主流训推框架，目前，中昊芯英可提供定制的端到端的云智算解决方案，并支持国产操作系统。
二、从企业智能体、向量数据库到RAG，AI Infra基础软件涌现诸多新挑战
下午场，多位嘉宾进一步分享了AI Infra领域关于智能体开发管理平台、实时语音、向量数据库、向量模型、RAG技术、数据编排等方面的行业观察和深入见解。诸多新平台、新产品、新技术走向前台，赋能产业。
企业智能化落地需要面临数据孤岛、数据整合、知识校验、数据实时效等技术挑战。枫清科技可以为企业提供知识引擎与大模型双轮驱动的新一代智能体平台，通过构建全链路优化体系，帮助企业提升数据质量，将企业本地数据知识化，并融合大模型沉淀的泛化能力，在知识网络之上进行符号逻辑推理，实现可解释的智能，进而使AI在多个场景下能够实现精准、透明的决策支持，推动企业智能化转型的顺利实施。
毛玉杰介绍，2014年至今十年，RTE从服务质量走向体验质量；2025年开始，在生成式AI发展的背景下，RTE向AI RTE变革，开始注重跨模态体验质量，做多模态交互、跨模态转换，为人和模型而设计，给大模型厂商提供眼睛、耳朵和声音能力。
毛玉杰说，目前人机对话已经达到“听得懂”的状态，期待下一步实现“听得心”——让人机交互变成真正的心灵交互。
腾讯云向量数据库技术负责人谢宇介绍，为解决上述挑战，腾讯首先提升了复杂文档的识别效果，并对数据处理、Embedding、检索、总结等其他环节进行优化，最终实现了90%以上的召回率。
腾讯自研向量检索引擎OLAMA已上线5年，日均处理8500亿次检索请求。未来，他们还将在性能、成本、业务效果、容灾率等方面发力，持续提升产品表现。
短窗口会导致上下文背景信息丢失，因此RAG需要长窗口向量模型支持。但长窗口向量模型面临两大挑战，一是推理成本和内存消耗会随窗口长度呈平方线性增长，共享GPU是解决思路之一；二是长窗口使模型无法完整表示细颗粒度语义，解法是增加向量维度和多向量表示。
栾小凡称，2025年新生成的数据中，将会有80%以上是非结构化数据。在这一数据压力下，向量数据库的落地面临着成本以及扩展性等方面的种种挑战。而目前的RAG存在搜索质量难、处理长尾查询能力差、结果难以解释和控制、向量存储成本高等问题。
据此，栾小凡及其团队提出了两个解决思路：一是混合查询，在单个系统内支持密集嵌入、稀疏嵌入和词汇搜索；二是Graph RAG，将知识图谱和向量检索结合起来。
针对第一个问题，英飞流训练了深度文档理解模型，能对复杂文档中的多模态内容进行分类处理。而在检索这一RAG“最后一公里”的问题上，英飞流使用三路召回方案，并增加张量索引进行重排序，这一方案在多模态RAG上展现出明显优势。
最后，针对检索过程中的语义鸿沟，英飞流使用GraphRAG抽取知识图谱，并与原数据进行联合检索，提升检索质量。
这一背景下，Alluxio提供了统一的数据视图、丰富协议转化、高性能数据访问，以打造整体数据服务。其方案通过零改造、无侵入策略，可以使算法工程师仍按原有方式工作，无需改变已有脚本，并且客户已经有的大量存量数据不需要进行私有化协议改造。
三、AI 2.0时代，大模型行至深水区，AI Infra迎来变革
另外，“go global”也几乎成为Infra软件的必选项，一方面有商业的考量，另外中国工程师的勤奋和工程攻坚能力全球有目共睹。值得关注的是，在资源有限的情况下也要做好取舍（无论是功能方面还是业务模式方面）。
Zilliz作为向量数据库企业，其产品可以处理大体量非结构化数据，挖掘数据价值。对AI 2.0时代的需求变化，Zilliz合伙人、研发VP栾小凡认为，AI技术在去年被高估、今年被低估，往后看AI落地还需要等一个机会，这也是整个范式的发展机会。
AI时代，数据量的暴增对存储提出巨大挑战。Alluxio首席架构师傅正佳介绍，他们通过分布式数据编排软件系统，高效连接存储与计算。Alluxio很早就注意到存算分离的趋势，并在数据远程访问环节重点发力，回应了AI存储挑战。
结语：生成式AI产业化落地加速，上中下游全产业链呼唤合作共赢
过去一年，生成式AI的发展度过了波澜壮阔的一年，整个产业链成为全球创新、投资和应用最活跃的领域之一，每位参与者都在与时间赛跑。
Sora掀起视频生成热潮，多模态世界模型的研究热度渐起。更具革命性的推理模型o1悄然出世，基座大语言模型不再持续狂飙，不仅价格战、营销战硝烟燃起，融资热度降温，Scaling Law是否撞墙更是在年底引发热议。
行业赋能持续进行，包括智能体在内的应用层的兴起仍然备受期待。同时，大模型向边端下沉的趋势日趋明显，AI手机、AI PC等AI硬件纷纷站上风口。不止AI硬件，大模型驱动下的具身智能更是热度空前，人形机器人正开启星辰大海。
作为智能产业的长期观察者，我们期待见证并记录中国生成式AI浪潮之变，并将持续邀请这股浪潮中的生力军们，分享他们最新的技术进展与商业化探索。