大模型修炼秘籍 第九章：问答之术——对话能力养成

第九章问答之术——对话能力养成多轮对话接拆招思维链推理步步高。【本章导读】真正的对话不是一问一答而是多轮交互。模型需要记住上下文理解对话历史才能接招拆招应对自如。一、多轮对话接招拆招【对话格式】#### 你好我想了解Python编程。 #### 你好Python是一门非常适合初学者的编程语言。你想了解Python的哪个方面呢 #### 我想学习Python的基础语法能给我一些建议吗 #### 当然学习Python基础语法我建议从以下几个方面入手...【上下文窗口】多轮对话需要将历史对话作为上下文输入第1轮: 用户: 你好 助手: 你好有什么可以帮助你的 第2轮: 输入: [第1轮对话] 用户: 你叫什么名字 助手: 我是一个AI助手... 第3轮: 输入: [第1轮对话] [第2轮对话] 用户: 你能做什么 助手: 我可以帮助你...【上下文长度管理】策略描述优缺点截断只保留最近N轮简单但丢失信息摘要将历史对话压缩为摘要保留关键信息滑动窗口固定窗口大小滑动平衡效果二、思维链步步为营【思维链心法】复杂问题需要分步骤推理。思维链Chain-of-Thought, CoT让模型展示推理过程步步为营提高复杂问题的解决能力。【思维链示例】问题: 小明有5个苹果给了小红2个又买了3个现在有几个 普通回答: 6个 思维链回答: 让我一步步思考 1. 小明最初有5个苹果 2. 给了小红2个剩下 5 - 2 3个 3. 又买了3个现在有 3 3 6个 答案是6个。【思维链的效果】任务无CoT有CoT提升GSM8K数学17%58%41%AQuA数学24%35%11%StrategyQA54%65%11%【如何激发思维链】Few-shot提示在提示中给出思维链示例Zero-shot提示告诉模型让我们一步步思考训练数据在SFT数据中包含思维链三、Few-shot学习举一反三【Few-shot心法】Few-shot学习让模型从少量示例中学习新任务如同武学高手举一反三触类旁通。【Few-shot格式】任务: 情感分类 示例1: 输入: 这部电影太精彩了 输出: 正面 示例2: 输入: 服务态度很差再也不来了。 输出: 负面 示例3: 输入: 今天天气不错。 输出: 中性 现在请分类: 输入: 这家餐厅的菜很好吃就是有点贵。 输出: ?【Few-shot vs Zero-shot vs Fine-tuning】方法需要示例需要训练灵活性Zero-shot否否最高Few-shot少量否高Fine-tuning大量是低【Few-shot的最佳实践】示例数量通常3-5个示例效果最好示例选择选择代表性、多样性的示例示例顺序重要示例放后面格式一致所有示例格式保持一致四、角色扮演千面化身【角色扮演心法】通过系统提示让模型扮演特定角色适应不同场景。【系统提示】系统: 你是一位资深的Python编程专家擅长用简单易懂的方式解释复杂的编程概念。 用户: 什么是装饰器 助手: 装饰器是Python中一个非常优雅的特性它允许我们在不修改原函数代码的情况下给函数添加额外的功能。 ...【角色扮演的应用】角色应用场景编程专家代码编写、调试翻译专家多语言翻译写作助手文章创作、润色学习导师知识讲解、答疑客服助手问题解答、服务五、工具调用神兵利器【工具调用心法】模型本身能力有限通过调用外部工具可以获得更强的能力如同武林高手配备神兵利器。【工具类型】工具功能示例搜索引擎获取实时信息搜索最新新闻代码执行运行代码计算复杂数学API调用访问外部服务查询天气数据库查询数据检索知识库【工具调用流程】用户: 北京今天天气怎么样 模型思考: 我需要调用天气API来获取北京的天气信息。 模型输出: { tool: weather_api, parameters: { city: 北京 } } 系统执行工具返回结果: { temperature: 25°C, weather: 晴, humidity: 45% } 模型输出: 北京今天天气晴朗气温25°C湿度45%非常适合外出活动【Function Calling】现代大模型支持结构化的函数调用tools[{name:get_weather,description:获取指定城市的天气信息,parameters:{type:object,properties:{city:{type:string,description:城市名称}},required:[city]}}]responsemodel.chat(messages,toolstools)六、本章心法总结【口诀】多轮对话接拆招思维链推理步步高。Few-shot举一反三工具调用神兵到。【要点回顾】要点说明多轮对话管理上下文记住历史思维链分步骤推理提高复杂问题解决能力Few-shot从少量示例中学习角色扮演通过系统提示定义模型角色工具调用扩展模型能力边界带你进入AI时代最前沿的认知盛宴【下一章预告】下一章我们将学习多任务微调探讨如何让模型成为多才多艺的全能选手。