README、运行手册与交付检查表
1. README
至少包含:
- 产品解决什么问题;
- 支持与非目标场景;
- 架构图;
- 环境与依赖;
- 配置变量;
- 本地运行;
- 工具和权限;
- 测试与 Eval;
- 部署;
- 数据和日志;
- 扩展 Skill/Tool;
- 已知限制。
提供一条从 clone 到完成最小任务的 happy path。
2. Runbook
运维手册按症状组织:
- 模型 provider 异常;
- 工具错误率升高;
- queue 积压;
- session 无法恢复;
- 成本异常;
- trace 缺失;
- 权限确认卡住;
- 外部副作用状态未知;
- 部署回滚。
每项包含检测、影响、诊断命令、缓解、恢复验证和升级联系人。
3. 配置
.env.example只列名称和说明;- 密钥从 secrets manager 注入;
- startup 时验证必填配置;
- 环境差异显式化;
- prompt/Skill/Tool schema 有版本;
- 配置变更进入审计;
- 默认值偏向低权限和低预算。
4. 交付检查表
功能
- 目标任务端到端成功
- 部分失败可解释
- 取消和恢复有效
- 产物可下载/访问
可靠性
- 最大步数、超时、重试
- 幂等与副作用验证
- 固定 Eval 和回归
- Trace、metrics、logs
权限与数据
- 最小工具权限
- 高影响动作确认
- 敏感字段脱敏
- 数据保留/删除
文档与运维
- README
- Runbook
- 配置说明
- 部署与回滚
- 已知限制
5. Definition of Done
交付不是“模型返回了一次好答案”,而是另一个人能按照文档启动系统,完成规定任务,看到证据,理解失败,并在出现问题时恢复或回滚。