导读在当前人工智能技术迅猛发展的背景下，智能助手的应用场景愈加广泛，涵盖了从 B 端商家服务到销售培训及大数据分析等多个领域。本文将深入探讨智能助手在 58 同城实际应用中的案例，包括招聘助手和销售陪练的设计与实施，还将分析知识库管理和工具使用对智能助手性能的影响。通过对这些案例的剖析，将揭示如何利用先进的 AI 技术，提升工作效率、优化用户体验，并推动企业数字化转型的进程。
主要内容包括以下几个部分：
1. 业务背景介绍
2. AI Agent 核心技术与挑战
3. RAG 和 Tool Use 实践
4. 总结与展望
分享嘉宾｜曾禹飞 58同城 算法工程师
编辑整理｜陈思永
内容校对｜李瑶
出品社区｜DataFun
01
业务背景介绍
在人工智能技术的飞速发展中，智能体（Agent）技术正逐步成为增强 AI 能力的核心驱动力。尤其是在 RAG（Retrieval-Augmented Generation）与工具调用能力的协同作用下，智能体的自动化处理和决策能力得到了显著提升。58 同城作为生活服务平台，通过集成 AI 技术，致力于为企业用户和消费者之间建立高效的沟通渠道，帮助用户更快、更智能地完成复杂业务流程。
AI 算力：提供强大的硬件基础，支持 AI 基础平台的模型训练、推理，以及大规模的数据处理。
AI 基础平台：汇聚了多种算法技术，从图像识别、语音处理，到最新的大语言模型（LLM）技术和多模态模型。不同的技术针对不同业务场景，能够根据实际需求提供预训练与微调方案，支持例如智能对话、图像生成、3D 建模等应用。这些算法通过强大的计算引擎，进行离线训练、在线推理和混合处理，确保模型在高效运行的同时满足不同的业务需求。
AI 应用平台：重点支持企业级应用的定制化开发，涵盖智能客服、虚拟助手、图像和视频生成等场景。智能体在这些业务场景中，利用知识库与工具调度能力，能够自主完成复杂任务链，增强企业在客服、运营等场景中的智能化水平。
为了进一步推广 AI 应用，我们还打造了 AI Agent 平台，支持开发者创建基于 AI 的智能机器人，其背后是我们对 RAG 和工具调用能力的深入研究和应用。RAG 技术提升了模型对复杂信息的处理能力，不仅弥补了大模型固有知识的局限性，还通过知识库的快速更新和检索能力，帮助智能体实时获取最新信息，更好地服务于用户的多样化需求。
目前我们的大模型技术已渗透至企业全流程，支持内部超过 70 个业务和场景。
02
AIAgent 核心技术与挑战
如果说 Agent Core 是 Agent 的大脑，那么 Planning Module 就是大脑皮层，负责 Agent 所有的思考活动，通过 CoT、GoT、ReAct 等技术，让 Agent 实现反思和自我纠正，以及将问题拆解为更细粒度的子问题。
Tools 模块是提前定义好的工具流，用来执行各种复杂任务。
MemoryModule，即记忆模块，也起到了非常关键的作用，让 Agent 通过上下文来预测接下来的动作，以及期望的结果。记忆模块分为短期记忆和长期记忆，短期记忆可以理解为我们与 Agent 进行交流中几分钟内的历史对话，而长期记忆则是几周或几个月的长期历史对话。
为了解决这些问题，就要依靠 RAG 技术，可以给大模型挂载文档，如私有知识库，接着对文档进行解析、切片，并向量化，保存至向量数据库，这样就完成了数据准备的工作。对用户输入，通用按需进行切片，并进行向量化，然后到知识库中进行检索，对检索出的 top K 结果进行重排，找到与输入问题最相似的 N 个内容，再将这些内容与用户的原始输入拼接到 prompt 中，提供给大模型，再通过大模型进行汇总，输出最终的回答。
工具使用方面，大模型根据用户输入，以及 API 元信息，判断回答问题是否需要调用 API。
文本数据处理方面，主要用到增强和分块两大技术。增强部分，可以对用户问题进行拆解、改写、关键词提取等操作。例如用户提问“wuxian 怎么交”，这里的 wuxian 为英文，与中文“五险”的向量表示完全不同，因此需要进行改写和补充。分块部分，可以按特定的分隔符来分割，也可以按语义分割，对多模态数据，会将图片、表格的标题或相关注释分割在一起。
检索方面，分为单轮检索和多轮检索。单轮检索通常使用 BM25、Bert 等嵌入模型，对用户 query 及知识库进行向量化检索。对于知识库中不存在的信息，会使用假设性文档嵌入的方法（HyDE），使用大模型生成一个假设的回答文档，将其与知识库中的文档进行比较，从而得到与用户提问相关的信息。也可以使用混合检索的方式，提升检索的效率和效果。多轮检索，如长篇问答、多跳推理、思维链推理等，仅靠用户的原始输入不足以覆盖模型所需要的外部支持，稍后将会介绍两个相关工作。
检索之后需要进行重排，文本向量化过程中不可避免地会丢失掉一些信息，降低匹配的准确性，尤其是面对复杂文档时，问题和文档间的微妙差异可能会难以捕捉，因此我们需要重排这一步，对筛选出的文档进行精排，提供更准确的排序结果。
首次使用过滤后的中文评测集，包含 735 条对话，每轮对话有 1 到 3 个工具，参数数量不超过 3 个。使用千问 27B 模型作为基准进行对比，发现各模型评测结果差异不大。
第二版测试数据集：
新的测试数据集包含 1 到 4 个工具，参数数量增至 1 到 12 个，同时加入了 50 条需要并行调用工具的对话。
重新构建数据，确保所有工具对模型是新颖的。
单个工具多次调用：构建了 305 条数据，每轮对话包含多个工具，需要多次并行调用，工具参数在 1-7 个之间。结果显示，小模型 ChatLing-Tool 表现良好，优于 72B 模型，而 7B 和豆包模型表现较差。
普通多工具调用：
每轮对话包含多个工具，模型根据用户输入选择调用。结果显示，各模型表现均较好，差距不明显。
多个工具并行调用：
每轮对话需并行调用多个工具，例如查询财报并绘制图表。结果显示，GPT-4 表现最佳，国内模型效果也不错，但豆包和千问 27B 表现较弱，而 ChatLing-Tool 表现良好。
方案能够智能解析多种文档格式，包括 Word、PDF 和 Excel。同时，支持通过查询和修改进行问题拆解，并实现高效的多路索引和召回效果。
RAG 模型与工作流支持：
提供多种内置的 RAG（Retrieval-Augmented Generation）强化模型，用户可在 AI 平台上制定工作流，以灵活应对复杂业务需求。
处理流程示例：用户提出问题（如“黑神话结局”），智能体会改写并补全问题。如果智能体自信可以回复，就直接返回；如果不确定，则调用知识库或 API 查询，获取信息后结合用户原始问题进行回答。
自定义与可视化功能：
AI 平台支持用户自定义插件，并提供插件选项，用户可根据需求定义工具参数和描述。同时，支持可视化的 agent 思考过程和多轮会话，以及向量检索功能。
03
以下是几个应用案例。
房源信息查询：用户找到房源后点击微聊，助手同样通过知识库回复用户关于房源的询问。
实时订单跟踪：助手支持销售人员实时跟踪业务进展。
04
总结与展望
INTRODUCTION
曾禹飞
58同城
算法工程师