2025_NIPS_RAGRouter: Learning to Route Queries to Multiple Retrieval-Augmented Language Models

文章主要内容总结该研究聚焦检索增强生成（RAG）场景下的大语言模型（LLM）路由问题，提出了首个RAG感知的路由框架RAGRouter。核心解决现有路由方法依赖静态参数知识、忽略检索文档动态影响的缺陷，通过融合文档嵌入、RAG能力嵌入与对比学习，捕捉RAG引发的模型知识表征变化，为每个查询-文档对选择最优LLM。实验覆盖5个知识密集型任务、15个开源/闭源LLM，验证了RAGRouter在性能上超越最佳单LLM和非RAG感知路由方法，且通过阈值机制实现低延迟约束下的性能-效率平衡。核心创新点首次定义RAG场景下的LLM路由问题：明确将检索文档与模型RAG能力纳入路由决策，突破传统路由仅依赖查询与模型静态匹配的局限。RAG感知的架构设计：整合文档编码器、交叉编码器捕捉文档语义与查询-文档交互，引入RAG能力嵌入层建模模型利用外部知识的固有能力。双对比学习优化：提出跨设置对比（CSC）和内设置对比（ISC）机制，分别捕捉RAG与非RAG场景间、同一场景内的模型性能差异，精准建模知识表征迁移。延迟感知扩展设计：基于分数阈值的路由机制，在牺牲少量精度的前提下显著降低延迟，适配资源受限场景。翻译部分（Markdown格式）Abstract检索增强生成（RAG）显著提