Skip to content

结果与排障

执行结果用于定位回放是否成功,以及失败发生在哪一步。

排障时不要只看最终状态。更重要的是结合失败步骤、截图、错误信息和最近页面改动判断失败类型。

结果内容

执行结果通常包含:

  • 成功或失败状态
  • 执行耗时
  • 失败步骤序号
  • 错误信息
  • 回放截图
  • 结构化失败原因
  • 证据面板
  • 每一步的执行明细

排障顺序

建议按下面顺序排查:

  1. 查看失败步骤截图。
  2. 查看错误信息。
  3. 确认目标页面是否可访问。
  4. 确认登录态和测试数据是否存在。
  5. 检查目标元素是否发生结构变化。
  6. 必要时重新录制该步骤。

AI 错误分析

用例可以在「编辑用例信息」中开启「失败时启用 AI 分析」。开启后,当用例执行失败时,系统会结合失败步骤、错误信息、页面上下文、执行详情和规则诊断结果生成失败原因分析。

当前执行详情展示的是最终失败结论。如果开启 AI 分析,最终结论会综合规则分析和 AI 分析;如果关闭 AI 分析,则只使用规则分析。

适合场景:

  • 失败信息较长,不容易快速判断原因。
  • 需要区分是登录态、页面状态、定位、断言还是测试数据问题。
  • 希望给非技术成员提供更容易阅读的失败摘要。

注意事项:

  • 开启后,失败结果需要等待 AI 分析完成后再形成最终结论,失败用例的结果生成会变慢。
  • JSON 断言失败等已经足够明确的场景,系统可能不会生成额外分析。
  • AI 分析会参与最终结论,但最终仍应结合失败截图、错误信息和实际页面状态判断。

img.png

img.png

失败分类

类型典型现象处理方式
环境问题起始 URL 无法打开、接口异常、目标系统部署中等环境恢复后重新执行。
登录态问题跳到登录页或权限页恢复登录态,确认账号权限。
数据问题目标记录不存在、状态不符合预期准备稳定测试数据,或调整用例前置步骤。
定位问题找不到元素、点错同类控件补稳定标识,或重新录制失败步骤。
断言问题页面流程成功但文案或 JSON 不一致判断是产品变更还是断言过旧。
产品缺陷页面报错、保存失败、业务结果不符合预期提交缺陷,保留执行结果截图和错误信息。

结构化失败原因

失败详情会尽量把失败归入稳定类型,便于后续筛选、统计和复盘。常见类型包括:

类型说明
登录态问题会话过期、跳到登录页、登录准备失败或未授权访问。
权限问题当前账号缺少访问或操作权限。
页面状态问题页面没有进入预期 URL、弹窗、页签或业务状态。
定位问题目标元素未找到、命中错误元素、动态属性导致定位失效。
可交互问题元素存在但被禁用、loading、遮罩覆盖或不可点击。
断言问题页面文本、URL 或 JSON 与期望不一致。
测试数据问题数据不存在、重复、状态不符合前置条件。
业务错误页面出现明确业务报错、接口失败或保存失败提示。
环境问题页面打不开、网络异常、服务部署中或资源加载失败。

失败类型用于帮助定位方向,不等于最终责任归属。比如“定位问题”可能由页面改版引起,也可能由用例长期未维护引起。

证据面板

失败详情中的证据面板默认收起,可以点击左侧图标展开。证据面板展示系统得出失败结论时参考的关键线索,例如:

  • 失败步骤的原始错误信息。
  • 当前 URL、页面标题和前后页面状态。
  • 页面错误提示、登录/权限/空数据等信号。
  • 变量解析链路和运行时变量值。
  • 运行时命中的定位信息和实际操作对象。
  • 失败步骤前后的截图线索。

证据面板用于解释“为什么系统判断成这个失败类型”。如果证据与实际现场不一致,优先以截图和业务页面为准,并维护用例或目标系统的稳定标识。

执行明细

执行详情可以从截图模式切换到明细模式。明细模式按步骤展示:

  • 时间
  • 步骤描述
  • 操作对象
  • 命中 Locator
  • 耗时
  • 结果
  • 查看截图

“操作对象”表示本次运行时系统识别到的真实操作目标,例如按钮文本、输入框语义、表格行内容等;“命中 Locator”表示实际用于命中的定位线索。长文本会省略,悬浮后可查看完整内容。

失败步骤修复

如果结果页能定位到失败步骤,建议直接回到用例详情页修复该步骤附近内容:

  1. 查看失败步骤截图。
  2. 对照当前页面结构。
  3. 编辑步骤或重新录制局部步骤。
  4. 单条回放验证。
  5. 再执行所在计划。

维护建议

  • 对关键路径添加断言。
  • 定期清理过时用例。
  • 页面改版后优先回放核心用例。
  • 对容易变化的页面元素添加稳定标识。

img.png

回演 CueCast 产品文档