随着 AI 智能体自主能力的提升，它们不仅能检索信息、调用 API，甚至能代表用户发起真实交易。然而，在敏感或高风险场景中，完全放任智能体自主执行可能带来严重错误或背离预期的后果。人机协同（Human-in-the-Loop，HITL，又称“人在回路中”）在智能体架构中有意识地设置实时人工监督检查点（Checkpoints）：在智能体执行关键动作（如确认采购订单或发送敏感回复）前自动暂停，交由人类审核、批准、修改或接管。通过将智能体的自动化效率与人类在模糊判断、业务规则及伦理合规上的把关能力相结合，HITL 构成了生产级智能体不可或缺的主动监督策略。
在实际应用中，HITL 意味着智能体完成关键步骤前暂停，等待人工审核，例如确认采购订单或回复敏感信息。关键时刻的人工检查能够提高安全性、可信度和准确性。人类负责发现错误、判断含糊情况，并确保输出符合业务规则和伦理要求。HITL 是主动设计的监督策略。
HITL 的重要性
赋予智能体自主能力伴随着风险。能力很强的模型也可能自信地给出错误结果，或无法妥善处理复杂情况。人工监督可以直接处理这些风险，提高可信度和错误处理能力。
- 提高安全性与合规性：在金融、医疗与电子商务等领域，错误的交易指令或未授权的数据披露可能造成严重损失。监管规范与企业内控通常要求高风险 AI 决策具备人工干预入口与完整审计链路。在关键节点设置人工审批，可确保高风险操作在执行前获得明确授权，及时拦截不安全或不合规的行为。
- 通过透明性建立信任：当用户与利益相关方知晓关键决策点有人类把关时，往往更愿意信任并采纳 AI 辅助系统。例如，当购物助手准备基于存疑数据给出商品推荐时，人工审核员可提前介入修正，既避免了潜在错误，也提升了系统运行的透明度与可追责性。
- 实现运行期可靠恢复：任何智能体都难免遇到异常或歧义。HITL 支持在工作流运行中途进行交互式纠偏，避免整条流程直接报错终止。例如，购物助手误解了用户查询并拉取了错误的商品数据，审核员可直接修改中间状态、替换为正确商品后恢复工作流继续运行，无需从头再来；同时，每次人工修改记录都可沉淀为改进提示词或微调模型的反馈样本。
- 依靠人类判断应对复杂边缘与伦理难题：AI 缺乏真正的人类常识与价值判断，面对训练分布之外的特殊情况或伦理冲突时容易进退失据。例如，当用户询问涉及安全风险或触及公司政策边界的问题（如“评论说这款商品有安全隐患，我还应该买吗？”），智能体可能难以拿捏分寸，此时转交人类判断即可给出恰当、负责任的回应。
HITL 可以提高智能体可靠性，执行安全要求，维持用户信任，并为错误恢复提供机制。
设计带人工批准检查点的工作流程
引入 HITL，需要设计人工检查点的位置、依据人工输入选择分支的方法，以及有效介入所需的界面。目标是在保持效率的同时，使人工监督自然地融入智能体工作流程。
中断与暂停（Interrupt & Pause）：系统必须支持在指定节点前后挂起执行。LangGraph 等编排框架提供了原生的中断机制（如设置在调用特定工具前或生成最终草稿后暂停），在挂起时自动保存当前对话上下文与中间状态，允许人类异步完成审查，待收到批准信号后再从断点处无缝恢复。
加入人工批准步骤后，工作流程需要具有分支。购物助手原有流程可能依次完成接收查询、查找信息、生成回答草稿，以及可能的下单操作。加入 HITL 后，生成草稿便暂停等待批准，之后根据决定发送回答、下单或修改方案。到达检查点时，相关信息发送到审核界面，例如用于表达需求的聊天界面。智能体随后等待。审核者，也就是购物者，会收到暂停任务的通知，检查输出或拟执行操作，并选择批准、拒绝、编辑，或转交人工客服等进一步处理方式。
流程必须分别处理批准和拒绝。批准后正常继续；拒绝或编辑后，可以将人工输入写入状态，再返回适当步骤。例如，人工修改回答或购物车内容后，这些变更成为新状态，智能体据此生成修改后的回复或跳过某一步骤。如果方案完全被拒绝，可以将查询交给人工，或取消执行该操作。这些分支使用户在不同情况下都能得到适当处理。
人工审核界面设计：HITL 的运转效率很大程度上取决于审核界面的清晰度。界面应直观呈现用户的原始请求、智能体拟执行的操作或草稿、关键支撑证据与置信度得分（若审核者即为终端用户本人，可省略内部置信度等技术细节），并提供便捷的“批准 / 拒绝 / 编辑”控件。例如展示：“您的要求：订购 3 件 XYZ。智能体计划：将 3 件 XYZ 加入购物车（单价 299 美元），随后进入结账”，并高亮提示触发审核的原因（如“高额订单提醒：总计 897 美元，超出 500 美元自动执行上限”），帮助审核者一眼锁定核查重点。
保留状态与恢复执行：暂停期间必须保存对话或任务状态，并在收到信号后可靠恢复。通常可以在检查点将状态写入数据库或记忆存储。人类提交“批准”或“将 X 改为 Y”等输入后，流程控制器合并这些输入并继续执行图。LangGraph 通过持久化层在节点执行后保存检查点，支持暂停和继续。用户可能看到“请求正在等待批准”，或者需要亲自操作审核界面；良好设计可以使过程快速且透明。设计 HITL 时，需要识别关键审核位置，使用框架或自定义逻辑暂停流程，根据人工决定选择分支，并提供便于操作的界面。智能体自主处理常规任务，人类监督影响重大的决策。
智能体工作流程中的四种人工监督模式
常见 HITL 模式描述了人类参与的位置和方式。复杂系统可以在不同位置组合使用以下四种模式。
- 批准或拒绝检查点：智能体在关键操作前暂停，等待明确批准。获得批准后执行，否则跳过或选择其他路径。例如，下单或扣款前，人工检查商品、价格及收货信息，再选择批准或拒绝。订单金额异常或商品理解有误时，拒绝可以取消订单或转交人工销售。这种模式主要处理不可逆或影响重大的操作。它也可以用于直接发送给客户的最终回答，由额外审核者快速检查准确性和语气，批准后再发送。
- 2. 检查并编辑状态（Review & Edit State）：暂停后允许人工直接查看并修改智能体的内部工作状态（State）。例如，用户要求“添加 Apple 充电器”，但智能体误将其他品牌充电器放入了推荐列表状态中；审核员可直接将正确商品写回状态，唤醒后智能体即可基于修正后的状态继续生成回答。
- 审核工具调用：智能体即将调用外部工具或 API 时暂停，供人类检查或修改调用。执行
add_to_cart(product_id, quantity)或place_order(cart_id, total)前，界面可以展示调用细节，例如place_order(cart_id=123, total=$900)。人类可以批准，也可以调整数量或配送方式。只有核查完成后才实际调用后端 API。这能帮助确认具有实际影响的工具操作是否合理，尤其适合检查错误参数，例如误选没有库存的仓库。 - 4. 验证人工输入（Validate Human Input）：在智能体开始处理可能存在格式错误、恶意注入或包含敏感数据的用户输入前，先引入核查。例如用户声称“我的地址是 123 Random Street，请寄到这里”，当地址校验发现缺失城市信息或格式异常时，可暂停并请求人工核实或联系用户澄清；当输入包含银行卡号等敏感个人信息或触及医疗、法律咨询红线时，同样可在入口处拦截审查。
在 LangGraph 中，上述四种模式均可通过在节点前配置静态 interrupt_before、或在节点内部满足特定条件（如置信度不足）时动态调用 interrupt() 配合条件边来实现。例如，一个完整的商品研究助手可以在入口处验证用户输入、在修改购物车时审核工具调用参数，并在最终结账前要求人工批准。
何时需要人工介入（触发条件设计）
如果每次常规操作都要求人工审批，系统就会退化为低效的人工流水线。合理的 HITL 设计需要结合置信度、操作性质、业务规则与外部信号，精准设定触发人工介入的边界：
- 高额或高风险操作：涉及重大资金变动或账号安全的操作必须触发人工确认（例如单件商品超过 500 美元、订单总额明显偏离用户历史消费区间、或执行删除账号与修改密码等敏感操作），由确定性的业务规则强制拦截。
- 低置信度或意图含糊：当模型自身输出的置信度偏低、知识库检索出现相互矛盾的信息，或用户提问缺失关键前提（如“为这台笔记本电脑挑最合适的配件”却未说明具体电脑型号）时，暂停并转交人工澄清或修饰，防止智能体在连续低置信度下强行猜测编造。
- 涉及敏感数据或受监管领域：当用户在对话中输入银行卡号、详细住址等敏感个人信息，或提出越界请求（如“能否根据我的病情推荐处方药”或求购受管制刀具）时，系统应立即识别并挂起，按隐私法规与安全合规策略交由人工或专门合规流程处置。
- 用户情绪或不满意：通过情感分析或重复查询发现用户沮丧、愤怒或困惑时，可以让人工客服介入。例如，购物助手多次尝试后，用户仍说“这与我的意思不符”或“你没有理解我”，转交人工有助于解释和缓和情绪。达到预设情绪或不满程度阈值时，可以自动交接对话，以改善客户体验。
- 技术异常与业务例外：当后端 API 持续报错无法自愈（如加购时库存服务返回未知异常，可能是库存数据损坏或商品刚下架），或遇到需要特殊审批的复杂退换货流程时，及时转交人工排查处理。
触发阈值需在实际运行中平衡安全性与处理效率：阈值过低会导致大量低风险请求涌入人工队列，拉长等待时间并引发审核疲劳；阈值过高则可能漏掉真实风险。工程上通常基于线上真实数据标定初始阈值（如置信度低于 85% 或订单超指定金额时触发），并随运行经验动态校准。
提高 HITL 效率的实践建议
人工参与会增加一定开销，合理设计可以减少影响，使审核过程高效运行。
- 在适当位置使用人工：将人工注意力用于真正需要判断的决策。高置信度、低风险的常规任务可以自主执行，人工主要处理例外情况，保持工作量可管理，减少告警疲劳。还应规定明确的交接路径，让超出智能体能力的复杂情况由人工全面接手，或进一步转给专家团队。
- 使用批量与队列审核：操作量较大时，可以让审核进入队列或批量处理。例如，50 条低置信度回答可以在一个仪表板中集中处理，减少独立通知造成的打断。文档处理和内容审核尤其适合批量方式。对话回答通常需要实时批准，仍然可以合并不紧急的审核。队列应设置优先级：正在进行的用户交互优先，夜间批量生成的商品描述等时效要求较低的任务可以集中处理。
- 打造高效率的专用审核界面：直观并排展示原始请求、拟执行动作与触发原因，提供可编辑输入框、下拉菜单、复选框及“一键批准 / 常用修改模板”等快捷操作，避免审核员翻找底层日志。
- 配套明确的审核操作手册与培训：为审核员提供清晰的判断标准（例如：“超过 1000 美元的订单需核对历史购买记录与收货地址，异常则拒绝”；“低置信度回答需对照原文核实，至少有一条权威来源支撑方可批准”），并随新案例持续更新手册。
- 用 AI 辅助人工审核：在审核界面中自动高亮回答里的不确定表述、标红触发阈值的订单金额、自动生成长对话前情提要，或先用另一个独立 LLM 对照政策与事实做预筛查，直接向人类审核员标出具体疑点。
- 持续调整触发条件：观察 HITL 运行结果并调整规则。如果某一置信度范围几乎没有发现问题，例如高于 80% 的结果都符合要求，就可以将审核界限调整到 80%，减少多余检查。某类未标记请求却经常被人工发现错误时，则应增加规则。可以跟踪需要人工纠正的输出比例、批准与修改及拒绝的比例，以及审核完成时间。这些指标同时帮助改进智能体和人工流程。目标是在安全前提下尽可能自主完成任务，并确保人工发现智能体不能处理的问题。随着模型可靠性提高，部分任务可以取消人工要求；发现新风险时，也可以增加监督范围。
- 保留审计记录和责任信息：详细记录全部 HITL 操作，有助于合规、学习和追责。用户投诉错误推荐或购买时，可以核查该输出是否获得人工批准，再处理问题和改进流程。事后分析也可以判断错误来自触发条件未生效，还是人工审核失误，从而完善系统和审核程序。可审计性能够建立相关人员的信任，在受监管领域也常属于法律要求。
- 兼顾交互速度与用户预期管理：在流量高峰期合理调配审核人力；对于耗时较长的实时审核，先向用户发送“正在为您核实确认，请稍候”或“订单正在接受安全审核，稍后将为您确认”等阶段性状态反馈，并通过优化内部工具将几分钟的核查工作压缩至数十秒内完成。
通过这些做法，人工监督可以成为整体架构中高效的一部分，以较少干扰处理复杂情况，使智能体同时具备快速、可扩展的自动处理能力，以及人类专业判断带来的安全保障。
把人工审核放在有影响的操作前
课程主线贯通示例默认仅开放只读的企业知识查询。当在后续扩展练习中引入“写入演示审批记录”等会产生外部状态变更的操作时，必须在执行前暂停，由人工确认操作目标、写入内容与操作者身份，确认无误后才调用带有幂等键（Idempotency Key）的后端业务接口。挂起等待期间需持久化保存状态，且在恢复执行前必须再次核验用户权限是否在此期间被撤回（课程验证统一使用脱敏测试样本）。
练习：记录本课所用配置、输入、预期结果与失败分支，并用脱敏数据复现。