为此，我们基于大模型Agent提出了针对手术室的沙盒系统SurgBox。在这个零风险的环境中，外科团队可以反复演练各类手术场景，包括复杂病例和突发情况的处理。通过系统化的模拟训练，医生能够不断完善临床决策能力，提升团队协作效率，从而增强认知能力。特别地，我们设计了AI手术助手Surgery Copilot，可以在实际手术过程中为医疗团队提供决策支持。通过智能化的信息整合和分析，Surgery Copilot能够帮助医生快速获取关键信息，预判潜在风险，从而有效降低认知负荷。配合Surgery Copilot的实时决策支持，SurgBox为现代医疗培训开辟了一个全新的范式，为提高手术安全性和临床效果提供了强有力的技术支撑。
论文名称：SurgBox: Agent-Driven Operating Room Sandbox with Surgery Copilot 代码链接：https://github.com/franciszchen/SurgBox
我们基于Multi-Agent技术研发了手术沙盒系统SurgBox和手术AI助手Surgery Copilot，展示了Multi-Agent LLMs在模拟医疗角色、交互和决策制定中的潜力，并指出了在临床手术领域应用LLMs的差距。本研究提出的SurgBox手术沙盒系统和Surgery Copilot手术AI助手，旨在通过沉浸式模拟和实时手术支持来填补这一空白，提高外科手术的认知表现和临床决策能力。
本研究提出的SurgBox手术沙盒系统重点模拟了神经外科手术中的经鼻垂体瘤手术场景，通过Multi-Agent LLMs模拟手术室中的关键角色，重点模拟了神经外科手术中的术前规划、术中管理、术后总结等手术核心流程。SurgBox手术沙盒系统能够模拟手术团队成员之间的专业交流和应急处理，让外科医生在虚拟环境中获得接近真实的手术训练体验。
与此同时，Surgery Copilot作为实时手术助手，为主刀医生提供关键时刻的决策建议，如手术路径规划、术中风险预警等信息。通过将Surgery Copilot与临床外科手术的结合，旨在提升手术团队的认知效能和临床决策水平。
系统的短期记忆模块实时追踪手术进程，为团队成员提供及时预警； 长期记忆模块则存储和分析历史手术案例经验，用于术前方案优化和手术风险评估。
实验结果表明，手术副驾驶在手术路径规划和手术计划制定方面具有显著的优势。特定领域RAG技术的实现大大提高了基线模型的性能，特别是在手术路由类别中。
本研究针对外科手术中的认知负担问题，开创性地提出了SurgBox手术沙盒系统。通过Multi-Agent技术，SurgBox手术沙盒系统精确模拟了手术团队各个角色及其专业互动，为医生提供零风险的手术模拟环境，提升认知能力。
此外，Surgery Copilot手术AI助手运用长短期记忆机制，在实际手术中为角色提供实时决策支持，降低医生认知负荷。实验结果显示，该方案在手术路径规划和术前方案制定方面的准确率均达到88%，显著优于GPT-4和LLaMA等现有大模型。
本研究提出的SurgBox手术沙盒系统和Surgery Copilot手术AI助手不仅有效降低了手术团队的认知负担，也为AI赋能医疗手术开辟了新方向。
欢迎加入「医学AI」交流群