本课介绍训练营将使用的主要工具和框架。熟悉这些工具，有助于提高 AI 工程项目的开发效率和工作成效。
智能体工作流与多智能体系统
提示词优化与结构化输出
- Instructor：基于 Pydantic 约束并提取 LLM 结构化输出的 Python 库（官方网站）。
数据存储与检索
- Qdrant：高性能向量数据库，用于存储嵌入向量与元数据过滤检索（官方网站）。
API 路由与安全防护
- LiteLLM：统一的 LLM API 路由与网关代理工具，支持负载均衡、异常回退（Fallback）与访问控制（官方网站）。
- GuardrailsAI：用于校验和拦截 LLM 输入输出的护栏框架（GitHub 仓库）。
可观测性与评估
- Langfuse：支持自托管的 LLM 追踪（Tracing）、提示词管理与评估平台，具体 API 字段定义与版本说明见官方文档。
用户界面原型开发
- Streamlit：用于快速搭建数据与 AI 交互界面的 Python 库（官方网站）。
智能体通信协议
- MCP（Model Context Protocol）：最初由 Anthropic 推出的开放协议，用于 AI 应用与外部工具及上下文服务交换信息。服务端可提供工具、资源和提示词等能力；协议不会自动授予业务数据访问权限。
- A2A（Agent-to-Agent）：Google 提出的跨智能体通信协议，用于构建互联协作的智能体网络（Internet of Agents, IoA）。
基础设施与部署
- Docker：保障跨环境部署一致性的容器化平台（官方网站）。
- Docker Compose：定义并编排多容器本地应用的工具（使用文档）。
- Kubernetes：生产级容器编排与集群管理平台（官方网站）。
计算、存储与容器云服务
- ECS：提供云服务器虚拟机计算能力，需按实际部署要求配置网络、RAM 身份与云盘存储。
- OSS：提供原始文档与模型资产的对象存储服务，需独立配置对象路径、读写权限、地域与访问签名。
- ACK：提供托管 Kubernetes 集群管理能力，需分别规划集群网络、容器镜像仓库与模型推理端点。
- 教学与实验环境：可直接在单台 Linux 服务器上使用 Docker Compose 运行 Qdrant、PostgreSQL 与 Langfuse。
版本控制与 CI/CD
- GitHub 与 GitHub Actions：用于代码托管及自动化测试、构建与持续部署。
LLM API 接入
课程示例使用百炼 OpenAI 兼容聊天接口。虽然客户端复用 OpenAI SDK 的调用格式，但实际 endpoint、API Key 与具体模型能力仍需按服务商文档单独配置——不能因为接口格式兼容，就默认不同模型在 embedding、结构化输出与工具调用（Tool Calling）上具备完全相同的行为。
接下来的安排
先完成环境准备中的开发环境与模型配置，再进入本阶段的检索、可观测性和评估练习。各工具会在相应课程中展开。
智能体 AI 基础设施的整体层次
为明确各工具在系统中的定位，可参考“企业级智能体 AI 需求层次”（Enterprise Agentic AI Hierarchy of Needs）框架。该框架将生产级智能体系统所需的基础设施自下而上划分为多个演进阶段：
为什么优先建设可观测性与评估能力？
在企业环境中，LLM 调用链具有不确定性，可能造成难以及时察觉的故障。先建立运行信息采集、提示词版本管理与评估能力，再逐步扩大规模或引入复杂编排，有助于及早形成监测与反馈循环。
安全、记忆与通信层
从原型走向生产时，应按实际风险补充输入输出检查、工具授权、状态持久化及可观测性。Instructor 主要负责结构化输出的解析与验证；它不代替会话状态存储或长期记忆管理。MCP、A2A 分别用于工具与上下文接入、跨智能体通信，是否需要取决于系统边界。
完整框架拆解可参考 SwirlAI 新闻通讯：Enterprise Agentic AI Hierarchy of Needs。
国内环境的组件选择
课程以飞书文档为主线知识源、钉钉为补充练习场景；Qdrant、PostgreSQL、Streamlit、FastAPI 和 Langfuse 均采用本地或自托管方式部署。模型配置按聊天（Chat）、结构化输出、工具调用（Tool Use）与向量嵌入（Embedding）四类能力分别独立声明。上层编排与校验继续使用 LangGraph、DSPy、Instructor 等开源组件，底层模型接口的具体参数与能力边界则严格参照国内模型服务商官方文档验证。
练习：记录本课使用的配置、测试输入、预期输出与异常失败分支，并使用脱敏数据完整复现流程。
按能力选择计算与存储
| 所需能力 | 国内运行方式 | 接入与验收内容 |
|---|---|---|
| 虚拟机计算 | ECS | 镜像、磁盘、网络、访问身份与服务管理 |
| Kubernetes 管理 | ACK | 集群、命名空间、工作负载身份、资源与服务发现 |
| 镜像仓库 | ACR | 实例、地域、仓库路径、读写凭据和镜像 digest |
| 对象存储 | OSS | Bucket、endpoint、对象权限、加密和生命周期 |
| 数据库 | RDS PostgreSQL | 连接字符串、版本、账号权限、备份和迁移 |
| 云身份 | RAM | 角色、临时凭据与目标服务权限；授权模型独立配置 |
| 短时任务 | 函数计算 | 触发方式、执行时限、并发、重试和持久状态 |
| 教学自托管 | Linux + Nginx + FastAPI + Qdrant + PostgreSQL | 服务器本地服务端配置，数据库限制为内网访问 |
托管 Kubernetes、容器镜像仓库、ETL 流水线、消息队列与无服务器函数在架构中各司其职。将海外 AWS 或 Azure 架构示例迁移至国内云环境时，需重新适配 IAM/RAM 身份权限、VPC 网络、部署资源清单、数据格式及监控链路；应用层 API 均以所选服务商的实际协议为准，开源中间件则可直接部署在自管服务器上。