关注公众号，发现CV技术之美
随着多模态大语言模型（MLLM）的广泛应用，模型在理解复杂问题时经常会出现“幻觉”现象，即模型生成的内容与事实不符。多模态检索增强生成（mRAG）技术旨在通过外部知识库的检索来解决这一问题，但现有的mRAG方法多依赖于预定义的检索流程，难以应对现实世界中复杂、多变的知识需求。
为解决这一问题，阿里巴巴通义实验室RAG团队开发了OmniSearch，业内首个具备自适应规划能力的多模态检索增强生成框架。OmniSearch能够动态拆解复杂问题，根据当前的检索结果和问题情境调整下一步的检索策略，模拟了人类在解决复杂问题时的行为方式，显著提升了检索效率和模型生成的准确性。
Github链接：https://github.com/Alibaba-NLP/OmniSearch Demo链接：https://modelscope.cn/studios/iic/OmniSearch
现有的mRAG方法通常采用固定的检索流程，面对复杂的多模态问题时，模型无法灵活调整检索策略，导致如下两大问题：
非自适应检索：检索策略无法根据问题中间步骤的变化或新的发现进行调整，无法充分理解或验证多模态输入，造成信息获取不完整。 过载检索：单次检索过度依赖单一查询，难以获取问题真正所需的关键知识，往往导致无关信息过多，增加推理难度。
OmniSearch的核心架构由以下几部分组成：
OmniSearch的规划代理是其核心模块，负责对原始问题进行逐步分解。具体来说，规划代理会根据每个检索步骤的反馈，决定下一步要解决的子问题，并选择合适的检索工具来进一步获取信息。这个模块能够动态地规划检索路径，避免了传统mRAG中一次性检索所带来的信息过载问题。
规划代理的工作流程如下：
首先，它通过初步分析问题，提出需要解决的第一个子问题。 在检索到初步答案后，代理会对结果进行分析，决定是否需要进一步的检索或者是否有新的子问题需要提出。 代理会灵活选择不同的检索方式，直至最终获得足够的信息给出问题的完整解答。
OmniSearch的检索器负责执行实际的检索操作，它可以根据规划代理的指示，进行图像检索、文本检索或跨模态检索。OmniSearch支持多种检索方式，包括：
图像检索：通过输入的图像检索相关的视觉信息； 文本检索：根据输入的文本内容检索相关的文本信息； 跨模态检索：通过输入的多模态数据（如图片加文本）进行跨模态的信息检索。 不检索：当前子问题不需要检索外部信息
每次检索完成后，检索器会返回相关信息供规划代理进行分析和处理，从而决定接下来的行动。
子问题求解器的主要功能是对检索到的内容进行总结和解答。该模块会根据规划代理提出的子问题，从检索到的知识中提取出相关的信息并生成对应的回答。求解器可以是任意多模态大语言模型，甚至可以是规划代理本身。
子问题求解器还具备高度的可扩展性，可以与不同大小的多模态大语言模型集成。在实验中，OmniSearch分别集成了GPT-4V和Qwen-VL-Chat模型，验证了其在多种环境下的有效性。
OmniSearch采用了递归式的检索与推理流程。每当模型提出子问题并获得初步答案后，它会根据当前的解答状态判断是否需要继续检索，或是提出新的子问题。这个过程会持续进行，直到OmniSearch认为已经获得了足够的信息可以给出问题的最终答案。
为了能够同时处理文本、图像等多模态信息，OmniSearch对检索得到的多模态特征进行了有效的交互。模型能够根据不同模态的信息灵活调整检索策略，例如在文本推理时引入网页的常识知识，或者是在分析图像时调用视觉信息来辅助判断。
答案快速变化的问题：这些问题的背景知识不断更新，需要模型具备动态的再检索能力。 多模态知识需求的问题：问题需要同时从多模态信息（如图像、文本等）中获取知识。 多跳问题：问题需要多个推理步骤，要求模型在检索后进行多步（特别是大于2步）推理。
Dyn-VQA数据集专为评估OmniSearch这样的动态检索方法设计，弥补了现有VQA数据集在处理动态问题时的不足，展示了OmniSearch在复杂问题解决中的强大能力。
答案更新频率：对于答案快速变化的问题，OmniSearch的表现显著优于GPT-4V结合启发式mRAG方法，准确率提升了近88%。 多模态知识需求：OmniSearch能够有效地结合图像和文本进行检索，其在需要额外视觉知识的复杂问题上的表现远超现有模型，准确率提高了35%以上。 多跳推理问题：OmniSearch通过多次检索和动态规划，能够精确解决需要多步推理的问题，实验结果表明其在这类问题上的表现优于当前最先进的多模态模型，准确率提升了约35%。
在不同模型上的效果：无论是与较大的GPT-4V模型，还是与较小的Qwen-VL-Chat集成，OmniSearch都表现出了显著的性能提升。在基于GPT-4V的实验中，OmniSearch达到了54.45的F1-Recall评分，而基于Qwen-VL-Chat的OmniSearch也取得了45.52的评分，展现了其在不同模型上的通用性和有效性。
OmniSearch为多模态大语言模型的知识增强提供了新的思路。随着复杂问题的不断涌现，OmniSearch的自适应检索能力将为各类多模态应用场景提供强有力的支持！
欢迎加入「LLM」交流群