12 KiB
验收矩阵
状态:全部产品用例待实现;目录检查通过不代表本表通过。证据保存为测试输出/报告链接,真实模型与模拟执行分开记录。
| ID | 场景 | 必须观察到的结果 | 阶段 |
|---|---|---|---|
| A00 | 计划目录完整 | 所有 modules.json 模块及关键文档存在 | 基础 |
| A01 | 发布包干净安装 | 无上游 checkout,bundle 可加载,Host/Client 连通 | P0 |
| A02 | 卸载再安装 | 无残留监听/工具,用户数据仍在 | P1 |
| A03 | 两专家并发 | 不共享任务可变状态,不串技能范围 | P1 |
| A04 | 对话创建专家 | 管理技能调用工具,保存并返回可打开对象 | P1 |
| A05 | 对话创建技能 | 有效技能发布后可绑定与调用,无效资源被诊断 | P1 |
| A06 | 多对象管理 | 一次安装后可创建多个专家、技能、连接和应用 | P1 |
| A07 | 修订隔离 | 修改仅影响后续任务,旧任务锁定原引用 | P1 |
| A08 | 专家交接 | 新关联任务接手选定摘要/成果,原任务不被改写 | P1 |
| A09 | 连接账号隔离 | 两实例不混用凭据、不跨账号回退 | P1 |
| A10 | 缺依赖/授权 | 明确修复入口,不生成虚假成功 | P1 |
| A11 | 文件与 HTML | 限定访问范围,预览不获 Host 权限 | P1 |
| A12 | 断连与重启 | 恢复真实事件和成果,无法续跑时明确原因 | P1 |
| A13 | 提交结果不确定 | 先核对,不重复创建远端记录 | P1 |
| A14 | 对象导入导出 | 资源引用完整,无凭据、路径穿越及导入时脚本执行 | P1 |
| A15 | 应用切换 | 默认配置改变,已有任务绑定不变 | P1 |
| A16 | 全链业务流程 | 创建专家→技能→连接→资料→提交→回执→复用 | P1 |
| A17 | 专家团部分失败 | 成员归属可见、取消传播、部分成果不冒充完整交付 | P2 |
| A18 | 自动化恢复 | 同次触发去重、时区正确、错过规则符合文档 | P2 |
| A19 | 团队数据权限 | 无权用户及其 Agent 无法读取/修改数据 | P1 |
| A20 | 并发修改 | 冲突可见,不静默丢失更新 | P1 |
| A21 | 页面发布与撤销 | 访问权限及引用数据一致,撤销后不再公开访问 | P3 |
A16 必须交付的固定验收链
- 在 expert-manager 对话中创建“客户跟进专家”。
- 在 skill-creator 对话中创建“逾期检查”技能并绑定专家。
- 创建测试客户系统连接实例,完成专用授权界面流程。
- 将风险规则文件导入资料库,加入专家任务。
- 专家加载技能并读取规则,通过测试 MCP 查询客户。
- 校验待提交记录,遵守任务已有授权后提交。
- 读取外部记录核对,保存报告与回执到资料库。
- 另一专家通过关联任务读取报告继续加工。
- 重启后任务、对象修订和成果可查看。
- 重复验证未授权、网络超时但远端成功、技能缺失、部分写入和取消场景。
每一步必须有实际服务结果或会话工具记录;截图中存在按钮、模型回复“已完成”、mock 工具无条件返回成功均不算验收证据。
测试层次
单元:领域校验、修订冲突、依赖解析、写入核对。 集成:契约注入、插件生命周期、原生执行接口、持久化恢复。 E2E:页面与对话两条管理入口、业务链和异常交互。 真实模型 smoke:显式选择配置,不默认产生外部费用或业务写入;记录模型和真实产物。
团队基础用例(阶段以 acceptance.json 为准)
-
T01:两个组织使用相同显示名称对象,查询/搜索/缓存/下载/预览不得串数据。
-
T02:前端或模型伪造 organizationId、principalId、sessionId,Host 拒绝越权。
-
T03:普通成员无权创建组织共享连接,具备权限的成员可使用已分配连接但不能读取凭据。
-
T04:共享专家为不同用户创建独立会话;分享专家不分享历史、个人资产或账号。
-
T05:撤销成员/连接授权后,后续调用和订阅不继续访问;已完成外部副作用保留回执,不声称回滚。
-
T06:管理员能管理组织配置,但默认不能读取用户私有对话。
-
T07:管理页面和 Agent 工具对同一动作返回一致授权结论。
-
T08:会话列表、会话流、文件路由、原生 Remote 与 MCP 路径全部校验,而非只过滤工作台页面。
-
T09:P1,委派契约保留发起主体,未实现工作流/子 Agent 的团队入口拒绝执行;共享连接记录真实成员及代用账号。
-
T10:P1,团队运行提供方未实现时关闭团队远程执行入口,不能用本地单用户执行器替代。
-
T11:schema 从首期保留归属与版本;显式导入个人资源到团队,旧资源未被静默公开。
-
T12:用量按组织/主体/任务归属,重放事件不重复记账;缺失指标标为未知而非零。
-
T13:后台入口及 Remote 权限一致,组织 admin 不等于宿主运维;组织对象状态与用户工作台一致(P1-10)。
项目与核心领域补充
- J01:P1,创建空项目并重启,中心可搜索;模板预填可编辑,不自动执行。
- J02:P1,同用户两个项目采用不同指令和技能,任务快照互不污染;修改配置后旧任务仍引用旧修订。
- J03:P1,项目资产上传→授权检索→任务读取→保存成果→另一任务复用;仅一个资产正文源,关联失败可恢复而不重复上传。
- J04:P1,执行成功不能无证据完成业务待办;多次执行可关联同一待办;expectedRevision 拒绝并发覆盖。
- J05:P1,关联任务不自动共享正文;无权限者不能从动态、搜索、预览或摘要推断私有内容;撤权后订阅停止。
- J06:P1,交接摘要和选定资产创建关联任务,接收方重新绑定连接;缺权限或依赖返回诊断,外部写入不重放。
- J07:P1,个人和公共同名连接独立选择;双主体测试证明协作上下文拒绝个人连接,不回退账号。真实多人入口另见 J07-P3。
- J08:P1,技能停用不修改 SKILL.md 且新调用不可用;启用恢复;卸载显示依赖影响并保留历史引用。专家置顶不改变运行绑定。
- J09:P1,MD 建议接受前正文不变,拒绝无覆盖;基础修订变化导致冲突;容量预检与提交检查均有效。
- J10:P1,项目归档、能力缺失、关联失败、权限变化均有真实诊断。后续行为拆至 J10-P2/J10-P3。
项目界面补充验收(全部待实现)
| ID | 阶段 | 任务 | 必须观察到的结果 |
|---|---|---|---|
| UI01 | P1 | P1-11 | 四主标签和可收起配置侧栏;窄屏可用,切标签保留输入草稿;无虚假云运行/邀请入口 |
| UI02 | P1 | P1-02/P1-11 | 搜索分类多选专家、计数去重;内层确认外层取消不变更配置;多选不启动专家团 |
| UI03 | P1 | P1-03/P1-11 | 本地上传和中心选择均可关联技能;取消无已发布残留;失败可恢复;移除不影响其他项目 |
| UI04 | P1 | P1-04/P1-11 | 双主体测试中同一项目连接分别解析各自账号;一人未授权不会使用另一人连接;公共连接仍需授权 |
| UI05 | P1 | P1-11 | 指令取消不修改、保存形成修订、并发保存冲突;预算不足给诊断,旧任务配置不静默变化 |
| UI06 | P1 | P1-11 | 留言与待办评论可保存并检查修改权限;动态按访问范围过滤;@引用不自动执行或声称通知已送达 |
| UI07 | P1 | P1-01/P1-11 | 输入框引用待办/资产/技能使用稳定引用;删除或撤权后提交报诊断;更新待办校验预期修订 |
| UI08 | P1 | P1-03/P1-11 | 无权分享的个人能力不能静默加入团队可用范围;源修订升级需显式更新项目关联 |
| UI09 | P2 | P2-03 | 项目定时任务卡片只显示本人可见规则,数量与列表一致;不泄露其他成员规则 |
| UI10 | P3 | P3-01 | 邀请和成员提醒使用真实服务回执、去重与授权检查;未送达不显示成功 |
| UI11 | P1 | P1-11 | 项目中心同时提供新建、搜索、我的项目与模板创建;空项目可见,模板只预填且不自动提交 |
| UI12 | P1 | P1-11 | 详情页切换动态/计划/任务/资产时,配置侧栏和输入框保持挂载,草稿、附件与已选项不丢失 |
| UI13 | P1 | P1-11 | 计划表格具备标题、状态、处理人、优先级、标签与新增行;任务列表与计划对象严格分离 |
| UI14 | P1 | P1-06/P1-11 | 资产页复用 library 的目录、上传、容量、类型筛选、搜索和修订;项目不保存第二份正文 |
| UI15 | P1 | P1-11 | 指令、技能、专家、连接器使用统一大弹框;内容区独立滚动、底栏固定,取消不提交且不使用浏览器原生弹框 |
单阶段追加用例
- J07-P3:真实多人会话只能使用授权公共连接,个人连接不能被其他成员调用。
- J10-P2:项目自动化及通知只对创建者可见。
- J10-P3:真实邀请审批、过期撤销与多人执行权限正确。
- T09-P2:实际工作流和子 Agent 运行不提升发起者权限。
- T10-P3:真实团队 runtime 隔离文件、进程与凭据,验证越界访问失败。
- A20-P3:团队存储提供方并发修改冲突可见,不丢更新。
- B01:暂停任务后改变同一连接账号或目标,恢复拒绝静默写入;同账号凭据轮换允许但权限撤销仍阻止操作。
- B02:跨主体测试原任务含接收人不可读的标记信息,干净摘要/交接包不含该信息;准备后撤权使领取失败。
- B03:原生文件工具、脚本、符号链接及重命名不能覆盖权威正文;不支持隔离则受管任务禁用危险工具,仍无法收口则阻塞功能。
- B04:P1 界面只支持同主体专家交接;成员间真实交接不展示可执行假入口。
- B05:浏览器关闭/多标签不改变 Host 调度次数,Host 重启恢复一次,第二个调度所有者被拒绝。
- Q01:公开包可建立无原始私有会话历史的新会话,并注入选定测试材料。
- Q02:P3 企业阶段;公开文件/脚本能力能否限制权威存储写入;记录可保护路径及必要禁用规则,不能假定目录隔离有效。
- Q03:P3 企业阶段;公开机制支持完整执行入口的主体关联与拒绝无身份访问;未保护路径不得开放团队模式。
- Q04:最小发布包卸载/重装、两测试组合与持久恢复探针有实际证据,不能以源码链接替代安装。
所有用例的阶段、任务、状态及证据统一由 acceptance.json 保存。Markdown 是场景描述;check-plan 校验映射完整,check:acceptance 用于阶段发布门槛,待验证用例导致门槛不通过是正常结果。
跨功能执行组合补充(待实现)
| ID | 场景 | 必须观察到的结果 | 阶段 |
|---|---|---|---|
| EC01 | 不选择专家创建任务 | 使用已验证组合创建原生会话,记录组合引用与范围 | P1 |
| EC02 | 同一组合用于不同角色/项目 | 各任务状态独立,资料和账号逐主体授权 | P1 |
| EC03 | 应用默认与显式选择冲突 | 必需能力/组织策略明确诊断,不静默加入工具或扩大权限 | P1 |
| EC04 | 创作专家或技能 | 草稿、校验、发布调用对应服务;模型不能绕过授权安装插件 | P1 |
| EC05 | 已有内容后变更组合 | 拒绝原地替换,创建关联任务交接 | P1 |
| EC06 | 自动化组合/授权失效 | 停止并报告原因,不回退其他账号或最新组合 | P2 |
| EC07 | PTC 多步操作 | 正反例及逐项回执可核对,未知写入结果不盲目重试;开放前必测 | 开放前 |