MindSearch – 上海人工智能实验室推出的AI搜索框架

MindSearch是什么

MindSearch是上海人工智能实验室联合研发团队推出的开源AI搜索框架，结合了大规模信息搜集和整理能力。利用InternLM2.5 7B对话模型，MindSearch能在3分钟内从300多个网页中搜集有效信息，完成通常需要人类3小时的任务。采用多智能体框架模拟人类思维，先规划后搜索，提高了信息的准确性和完整性。项目已全栈开源，用户可以免费体验和本地部署。

MindSearch的主要功能

• 复杂查询处理：将复杂的用户查询分解为多个更小的、可管理的子问题，以便更精确地搜索相关信息。
• 动态图构建：通过构建有向无环图（DAG），模拟人类解决问题时的思维过程，逐步细化问题并探索解决方案。
• 并行信息检索：基于多代理架构，实现多个子问题的并行搜索，提高信息检索的速度和效率。
• 分层检索策略：WebSearcher采用从粗到细的检索策略，先广泛搜集信息，再选择最有价值的页面进行深入阅读和信息提取。
• 上下文管理：在多代理系统中有效管理上下文信息，确保在信息检索和整合过程中保持信息的连贯性和完整性。
• 响应生成：综合检索到的信息，生成准确、全面且深入的响应，以回答原始的复杂查询。
• 性能提升：在封闭集和开放集问答任务中，通过上述功能显著提高回答的质量，包括深度和广度。
• 人类偏好：生成的响应更符合人类的偏好，相比于其他AI搜索引擎，MindSearch提供的解答更受人类评估者的青睐。

MindSearch的技术原理

• WebPlanner：作为高级规划器，负责将用户查询分解为多个子问题，并通过动态图构建过程（有向无环图，DAG）来模拟多步骤信息寻求的心智模型。
• WebSearcher：执行分层信息检索，根据WebPlanner分配的子问题，从互联网上检索并汇总有价值的信息。
• 多代理协作：WebPlanner和WebSearcher作为独立的代理，分别处理问题分解和信息检索任务，实现任务的并行处理和信息的有效整合。
• 动态图构建：通过代码生成和执行，动态构建问题解决的逻辑图，使LLM能够逐步细化问题并检索相关信息。
• 上下文管理：在多代理之间进行有效的上下文状态转移，确保在信息检索和整合过程中不丢失关键信息。

MindSearch的项目地址

MindSearch的应用场景