要让大语言模型发挥最佳水平，往往需要精心设计提示词（包含系统指令、输入格式与示例）。然而，纯靠人工反复试错不仅耗时，而且细微的措辞改动就可能导致模型输出质量大幅波动。自动化提示词调优（Automated Prompt Tuning）借助评测数据与优化算法，系统化地搜索并改进提示词及相关输入配置。目前这一领域仍在演进中，尚未在所有工程团队中普及，但在复杂场景下已展现出实用价值。
为什么需要自动化提示词调优？
在 RAG 系统中，提示词需要妥善组织检索片段周边的任务指令、引用格式规范、事实依据约束以及无依据拒答逻辑。一套在某批文档上表现良好的提示词，换一套文档或更换基座模型后就可能失效；面对层出不穷的边界案例，靠人工逐条修补难以持续。通过自动化调优，系统可以根据评测反馈自动调整提示词，更高效地利用检索上下文。
除 RAG 之外，各类 LLM 应用均可从中受益：
- 文本生成：摘要生成、创意写作或代码生成等任务的文风、清晰度与准确性高度依赖指令表述。自动调优器可通过批量测试候选变体并量化质量指标，搜索出能生成更精炼摘要或更少代码错误的提示词格式。
- 分类与信息提取：在情感分类（如“判断该评论是正面还是负面并返回标签”）或字段提取任务中，指令措辞与 Few-shot 示例的选择会直接影响准确率，非常适合通过数据驱动的方式搜索最优组合。
- 智能体与工具调用：智能体提示词需要向模型说明何时及如何调用外部工具或 API。自动调优器可通过分析智能体调用失败的轨迹，在“运行 → 观察错误 → 更新提示词”的闭环中自动修正指令描述，减少每轮迭代的人工介入。
随着多步推理链、工具调用智能体与长对话系统的普及，提示词已成为动态且复杂的系统组件。当业务任务、底层数据或基座模型发生变动时，引入自动化调优有助于持续维护提示词表现。
闭源与开源模型的自动调优路径
自动化调优的具体手段取决于目标模型是仅通过 API 访问的闭源模型，还是可访问内部权重与梯度的开源模型：
闭源模型（黑箱优化）：无法修改模型权重或直接计算反向传播梯度，只能通过调整提示词文本以及 temperature、top-k 等公开 API 参数来影响模型行为。调优过程将模型视为可查询的黑箱：在离线评估集上批量测试候选提示词并保留高分变体，具体搜索策略可采用进化算法、坐标下降、启发式搜索，或利用另一个 LLM 分析错误并改写提示词。
开源模型（白盒/梯度优化与微调）：除黑箱离散文本搜索外，还可直接利用模型梯度优化。例如 Soft Prompt Tuning（软提示调优） 在输入序列前端拼接一组可学习的连续向量（提示 token / embedding），在固定主体模型权重的前提下，基于训练集通过梯度下降直接更新这组前置向量（部分方法还支持将其映射回可读文本）。另一种方式是收集高质量的“提示词—输出”对直接微调模型权重。像 DSPy 这类框架既支持将自然语言指令与 Few-shot 示例作为可调参数进行组合优化，也支持配合可用数据执行轻量级权重微调；此外，开源场景还可采用 Direct Preference Optimization（DPO，直接偏好优化），以比完整强化学习更精简的目标函数使模型输出对齐人类偏好。
闭源模型主要通过外部搜索或模型自身的改写能力调优；开源模型还可反向传播更新提示向量，或微调权重。
自动优化提示词的核心技术
以下介绍的主流优化技术大多可同时用于闭源与开源模型：
基本流程是“提出候选提示词 → 在样本集上运行测试 → 对照标准答案或启发式规则打分 → 调整提示词并进入下一轮”，类似于将可训练参数替换为文本指令的模型训练。面对长而复杂的提示词，简单的网格搜索或随机搜索效率较低，此时可将提示词生成视为策略优化问题，引入强化学习（RL）或多臂老虎机（Bandit）算法提升搜索效率；或者采用 LLM 自省修正——将失败样本喂给优化器 LLM（例如指令：“根据这些失败示例，提出能够纠正上述错误的提示词修改方案”），经验证集评估达标后采纳，配合历史试验记忆逐步收敛到较优提示词。
维护一个由多个候选提示词组成的“种群”，每一代都在任务评测集上打分，筛选出表现优异的个体，并通过以下两类操作繁衍下一代候选：
- 变异（Mutation）：对提示词局部做随机改写，如调整句式、替换同义词、增删 Few-shot 示例。
- 交叉（Crossover）：组合两个高分提示词的优势部分（例如保留提示词 A 的系统指令措辞，拼接上提示词 B 的示例格式）。
经过多代优胜劣汰，进化搜索能够探索更广阔的表达空间（包括人类难以直观想到的指令表述），并通过交叉操作跳出局部最优。
自一致性与提示词集成：有时改进来自使用方式。自一致性多次采样答案，再选取样本中最一致的结果。对于复杂问题，可以比较多条推理路径的最终答案，假设多数路径一致的答案更可能正确。用于提示词优化时，它通过减少输出波动，提高使用可靠性。也可以集成不同提示词，例如用优化器找到的前 5 个提示词分别回答，再多数投票。多个提示词或路径能够补偿单次错误，但会增加调用次数。延迟和预算允许时，它们可提供单纯修改提示词之外的保障。
基于人类选择的优化：缺少明确自动指标时，可以使用人类选择或任务奖励。可以借鉴 RLHF，将待更新对象设为提示词。DPO 通常用于模型微调；类似思路也可以用于提示词：比较两个提示词生成的结果，依据人类选择向更好的方向调整。自动指标难以定义时，human-in-the-loop 评估是可行方法。
在 RAG 或多步工作流中，固定的静态提示词未必适应所有查询。系统可维护一个包含多种模板与大量 Few-shot 示例的候选池，在新查询到达时，由检索模型动态挑选最契合当前查询领域的模板与 kkk 个示例拼入提示词。自动化调优器可端到端优化这一动态组装过程，可调参数涵盖示例数量 kkk、示例过滤条件乃至用于匹配示例的 embedding 模型。
A/B 测试与错误驱动修改：生产环境中，可以将多个提示词 A、B 等分配给真实流量并测量结果。获得具有统计意义的数据后，自动增加优秀提示词的流量，停止使用较差版本。还可结合错误分析程序：系统产生已知错误或用户纠正回答时，分析失败并调整提示词。可以对失败案例聚类，寻找有针对性的修改。循环包括识别错误模式、提出调整、在样例上验证、部署新变体并继续测试。随着时间推移，提示词从多种错误中得到改进，类似以更多数据训练模型，只是这里更新的是指令。它与结合错误分析的评估驱动开发相近，并可形成自动持续循环。
将提示词设计视为数据驱动过程
自动化提示词调优将提示词工程、优化算法与软件工程方法结合在一起。对 AI 工程师而言，关键转变在于不再把写提示词当作纯凭直觉的手工艺术，而是像对待模型训练一样，将其视为依赖基准数据验证、可量化、可持续迭代的数据驱动过程。
固定语料的提示词调优实践
使用 DSPy 或自定义优化流程时，统一基于课程演示 JSONL 数据集开展，并显式配置目标模型的 endpoint 与 API Key。需严格划分独立的训练集、验证集与最终测试集，全程记录提示词整数版本号、底层语料 hash 以及模型调用预算消耗，最终仅依据在独立测试集上的评估结果决定是否正式切换为新提示词。
练习：记录本课所用配置、输入、预期结果与失败分支，并用脱敏数据复现。