Files
workdsh/docs/ACCEPTANCE.md
T

12 KiB
Raw Blame History

验收矩阵

状态:全部产品用例待实现;目录检查通过不代表本表通过。证据保存为测试输出/报告链接,真实模型与模拟执行分开记录。

ID 场景 必须观察到的结果 阶段
A00 计划目录完整 所有 modules.json 模块及关键文档存在 基础
A01 发布包干净安装 无上游 checkout,bundle 可加载,Host/Client 连通 P0
A02 卸载再安装 无残留监听/工具,用户数据仍在 P1
A03 两专家并发 不共享任务可变状态,不串技能范围 P1
A04 对话创建专家 管理技能调用工具,保存并返回可打开对象 P1
A05 对话创建技能 有效技能发布后可绑定与调用,无效资源被诊断 P1
A06 多对象管理 一次安装后可创建多个专家、技能、连接和应用 P1
A07 修订隔离 修改仅影响后续任务,旧任务锁定原引用 P1
A08 专家交接 新关联任务接手选定摘要/成果,原任务不被改写 P1
A09 连接账号隔离 两实例不混用凭据、不跨账号回退 P1
A10 缺依赖/授权 明确修复入口,不生成虚假成功 P1
A11 文件与 HTML 限定访问范围,预览不获 Host 权限 P1
A12 断连与重启 恢复真实事件和成果,无法续跑时明确原因 P1
A13 提交结果不确定 先核对,不重复创建远端记录 P1
A14 对象导入导出 资源引用完整,无凭据、路径穿越及导入时脚本执行 P1
A15 应用切换 默认配置改变,已有任务绑定不变 P1
A16 全链业务流程 创建专家→技能→连接→资料→提交→回执→复用 P1
A17 专家团部分失败 成员归属可见、取消传播、部分成果不冒充完整交付 P2
A18 自动化恢复 同次触发去重、时区正确、错过规则符合文档 P2
A19 团队数据权限 无权用户及其 Agent 无法读取/修改数据 P1
A20 并发修改 冲突可见,不静默丢失更新 P1
A21 页面发布与撤销 访问权限及引用数据一致,撤销后不再公开访问 P3

A16 必须交付的固定验收链

  1. 在 expert-manager 对话中创建“客户跟进专家”。
  2. 在 skill-creator 对话中创建“逾期检查”技能并绑定专家。
  3. 创建测试客户系统连接实例,完成专用授权界面流程。
  4. 将风险规则文件导入资料库,加入专家任务。
  5. 专家加载技能并读取规则,通过测试 MCP 查询客户。
  6. 校验待提交记录,遵守任务已有授权后提交。
  7. 读取外部记录核对,保存报告与回执到资料库。
  8. 另一专家通过关联任务读取报告继续加工。
  9. 重启后任务、对象修订和成果可查看。
  10. 重复验证未授权、网络超时但远端成功、技能缺失、部分写入和取消场景。

每一步必须有实际服务结果或会话工具记录;截图中存在按钮、模型回复“已完成”、mock 工具无条件返回成功均不算验收证据。

测试层次

单元:领域校验、修订冲突、依赖解析、写入核对。 集成:契约注入、插件生命周期、原生执行接口、持久化恢复。 E2E:页面与对话两条管理入口、业务链和异常交互。 真实模型 smoke:显式选择配置,不默认产生外部费用或业务写入;记录模型和真实产物。

团队基础用例(阶段以 acceptance.json 为准)

  • T01:两个组织使用相同显示名称对象,查询/搜索/缓存/下载/预览不得串数据。

  • T02:前端或模型伪造 organizationId、principalId、sessionId,Host 拒绝越权。

  • T03:普通成员无权创建组织共享连接,具备权限的成员可使用已分配连接但不能读取凭据。

  • T04:共享专家为不同用户创建独立会话;分享专家不分享历史、个人资产或账号。

  • T05:撤销成员/连接授权后,后续调用和订阅不继续访问;已完成外部副作用保留回执,不声称回滚。

  • T06:管理员能管理组织配置,但默认不能读取用户私有对话。

  • T07:管理页面和 Agent 工具对同一动作返回一致授权结论。

  • T08:会话列表、会话流、文件路由、原生 Remote 与 MCP 路径全部校验,而非只过滤工作台页面。

  • T09:P1,委派契约保留发起主体,未实现工作流/子 Agent 的团队入口拒绝执行;共享连接记录真实成员及代用账号。

  • T10:P1,团队运行提供方未实现时关闭团队远程执行入口,不能用本地单用户执行器替代。

  • T11:schema 从首期保留归属与版本;显式导入个人资源到团队,旧资源未被静默公开。

  • T12:用量按组织/主体/任务归属,重放事件不重复记账;缺失指标标为未知而非零。

  • T13:后台入口及 Remote 权限一致,组织 admin 不等于宿主运维;组织对象状态与用户工作台一致(P1-10)。

项目与核心领域补充

  • J01:P1,创建空项目并重启,中心可搜索;模板预填可编辑,不自动执行。
  • J02:P1,同用户两个项目采用不同指令和技能,任务快照互不污染;修改配置后旧任务仍引用旧修订。
  • J03:P1,项目资产上传→授权检索→任务读取→保存成果→另一任务复用;仅一个资产正文源,关联失败可恢复而不重复上传。
  • J04:P1,执行成功不能无证据完成业务待办;多次执行可关联同一待办;expectedRevision 拒绝并发覆盖。
  • J05:P1,关联任务不自动共享正文;无权限者不能从动态、搜索、预览或摘要推断私有内容;撤权后订阅停止。
  • J06:P1,交接摘要和选定资产创建关联任务,接收方重新绑定连接;缺权限或依赖返回诊断,外部写入不重放。
  • J07:P1,个人和公共同名连接独立选择;双主体测试证明协作上下文拒绝个人连接,不回退账号。真实多人入口另见 J07-P3。
  • J08:P1,技能停用不修改 SKILL.md 且新调用不可用;启用恢复;卸载显示依赖影响并保留历史引用。专家置顶不改变运行绑定。
  • J09:P1,MD 建议接受前正文不变,拒绝无覆盖;基础修订变化导致冲突;容量预检与提交检查均有效。
  • J10:P1,项目归档、能力缺失、关联失败、权限变化均有真实诊断。后续行为拆至 J10-P2/J10-P3。

项目界面补充验收(全部待实现)

ID 阶段 任务 必须观察到的结果
UI01 P1 P1-11 四主标签和可收起配置侧栏;窄屏可用,切标签保留输入草稿;无虚假云运行/邀请入口
UI02 P1 P1-02/P1-11 搜索分类多选专家、计数去重;内层确认外层取消不变更配置;多选不启动专家团
UI03 P1 P1-03/P1-11 本地上传和中心选择均可关联技能;取消无已发布残留;失败可恢复;移除不影响其他项目
UI04 P1 P1-04/P1-11 双主体测试中同一项目连接分别解析各自账号;一人未授权不会使用另一人连接;公共连接仍需授权
UI05 P1 P1-11 指令取消不修改、保存形成修订、并发保存冲突;预算不足给诊断,旧任务配置不静默变化
UI06 P1 P1-11 留言与待办评论可保存并检查修改权限;动态按访问范围过滤;@引用不自动执行或声称通知已送达
UI07 P1 P1-01/P1-11 输入框引用待办/资产/技能使用稳定引用;删除或撤权后提交报诊断;更新待办校验预期修订
UI08 P1 P1-03/P1-11 无权分享的个人能力不能静默加入团队可用范围;源修订升级需显式更新项目关联
UI09 P2 P2-03 项目定时任务卡片只显示本人可见规则,数量与列表一致;不泄露其他成员规则
UI10 P3 P3-01 邀请和成员提醒使用真实服务回执、去重与授权检查;未送达不显示成功
UI11 P1 P1-11 项目中心同时提供新建、搜索、我的项目与模板创建;空项目可见,模板只预填且不自动提交
UI12 P1 P1-11 详情页切换动态/计划/任务/资产时,配置侧栏和输入框保持挂载,草稿、附件与已选项不丢失
UI13 P1 P1-11 计划表格具备标题、状态、处理人、优先级、标签与新增行;任务列表与计划对象严格分离
UI14 P1 P1-06/P1-11 资产页复用 library 的目录、上传、容量、类型筛选、搜索和修订;项目不保存第二份正文
UI15 P1 P1-11 指令、技能、专家、连接器使用统一大弹框;内容区独立滚动、底栏固定,取消不提交且不使用浏览器原生弹框

单阶段追加用例

  • J07-P3:真实多人会话只能使用授权公共连接,个人连接不能被其他成员调用。
  • J10-P2:项目自动化及通知只对创建者可见。
  • J10-P3:真实邀请审批、过期撤销与多人执行权限正确。
  • T09-P2:实际工作流和子 Agent 运行不提升发起者权限。
  • T10-P3:真实团队 runtime 隔离文件、进程与凭据,验证越界访问失败。
  • A20-P3:团队存储提供方并发修改冲突可见,不丢更新。
  • B01:暂停任务后改变同一连接账号或目标,恢复拒绝静默写入;同账号凭据轮换允许但权限撤销仍阻止操作。
  • B02:跨主体测试原任务含接收人不可读的标记信息,干净摘要/交接包不含该信息;准备后撤权使领取失败。
  • B03:原生文件工具、脚本、符号链接及重命名不能覆盖权威正文;不支持隔离则受管任务禁用危险工具,仍无法收口则阻塞功能。
  • B04:P1 界面只支持同主体专家交接;成员间真实交接不展示可执行假入口。
  • B05:浏览器关闭/多标签不改变 Host 调度次数,Host 重启恢复一次,第二个调度所有者被拒绝。
  • Q01:公开包可建立无原始私有会话历史的新会话,并注入选定测试材料。
  • Q02:P3 企业阶段;公开文件/脚本能力能否限制权威存储写入;记录可保护路径及必要禁用规则,不能假定目录隔离有效。
  • Q03:P3 企业阶段;公开机制支持完整执行入口的主体关联与拒绝无身份访问;未保护路径不得开放团队模式。
  • Q04:最小发布包卸载/重装、两测试组合与持久恢复探针有实际证据,不能以源码链接替代安装。

所有用例的阶段、任务、状态及证据统一由 acceptance.json 保存。Markdown 是场景描述;check-plan 校验映射完整,check:acceptance 用于阶段发布门槛,待验证用例导致门槛不通过是正常结果。

跨功能执行组合补充(待实现)

ID 场景 必须观察到的结果 阶段
EC01 不选择专家创建任务 使用已验证组合创建原生会话,记录组合引用与范围 P1
EC02 同一组合用于不同角色/项目 各任务状态独立,资料和账号逐主体授权 P1
EC03 应用默认与显式选择冲突 必需能力/组织策略明确诊断,不静默加入工具或扩大权限 P1
EC04 创作专家或技能 草稿、校验、发布调用对应服务;模型不能绕过授权安装插件 P1
EC05 已有内容后变更组合 拒绝原地替换,创建关联任务交接 P1
EC06 自动化组合/授权失效 停止并报告原因,不回退其他账号或最新组合 P2
EC07 PTC 多步操作 正反例及逐项回执可核对,未知写入结果不盲目重试;开放前必测 开放前