【S3W3 交叉评测】智能测试平台 SmartTest 项目反馈与改进建议 #3

New issue

Closed

opened 2026-08-06 10:35:44 +08:00 by chozzc · 1 comment

chozzc commented

2026-08-06 10:35:44 +08:00

1. 项目理解

我理解该项目希望把需求文档转化为可审阅、可导出的测试用例，通过需求解析、信息澄清、测试点拆解、用例生成、质量审核和人工确认等环节，降低测试人员从 PRD 到测试用例的整理成本。

项目并不是单次调用模型直接生成一批用例，而是设计了较完整的工作流，并结合 FastAPI、LangGraph、SSE 流式输出、SQLite 和权限管理实现可交互 Demo。

2. 项目亮点

从需求解析到人工审核形成了较完整的测试设计闭环，尤其是“信息不足先澄清，再生成用例”的思路比较合理。
Skills 和工作流职责划分清楚，能够看到需求分析、用例生成、质量检查等能力之间的协作关系。
提供测试代码、运行说明和结构化文档，工程交付程度较高。
对模型失败、流程中断和人工确认进行了考虑，相比一次性生成结果更接近真实测试工作。
支持角色权限和历史记录，为后续多人协作版本预留了基础。

3. 当前问题

README 中提到可以显著缩短测试设计时间并生成大量测试用例，但暂未看到统一基准数据，例如使用哪些 PRD、人工基线耗时、有效用例率、重复率和缺陷发现能力。
当前主要支持 DOCX，面对 PDF、Markdown、表格较多的需求文档、图片型需求文档及格式损坏文件时，兼容性和降级路径还不明确。
首个用户初始化为管理员、角色初始化接口和后续 RBAC 之间的安全边界需要进一步说明，避免生产环境中出现管理员初始化被重复调用或抢占的问题。
生成数量不能直接代表质量。当前质量审核如果仍由同一模型、相似提示词完成，可能出现生成模型与审核模型共享盲区的问题。
用户上传的需求文档可能包含企业内部信息，目前还需要补充文件保存周期、删除机制、日志脱敏和备份边界。
README 中关于单进程启动的提示容易产生歧义，建议明确“为何必须单 Worker”以及多 Worker 下具体会发生什么状态问题。

4. 建议

补充一个可复现的评测集，至少选择 5～10 份不同类型需求文档，公布人工用例、AI 用例、有效率、重复率、需求覆盖率和耗时对比。
为每条测试用例保留“来源需求片段—测试点—最终用例”的可追溯链路，让使用者快速判断模型是否遗漏或曲解需求。
为文件解析增加 PDF、Markdown 和纯文本入口，并为解析失败、空文档、超长文档和表格错位补充测试。
管理员初始化可以改为一次性初始化令牌或部署期命令，并增加幂等检查和审计记录。
将生成审核拆成规则检查、覆盖检查和模型审核三层，避免把全部质量判断交给同一个模型。
在 README 中增加一段数据生命周期说明，包括上传文件、解析结果、模型输入、日志和历史数据分别保存在哪里、如何删除。

5. 综合评价

项目的工作流完整度和工程化程度较高，已经超出简单的“AI 生成测试用例”演示。当前最值得加强的是量化评测、文档兼容性、数据安全和质量审核的独立性。补齐这些内容后，项目的可信度和企业使用价值会进一步提高。

### 1. 项目理解我理解该项目希望把需求文档转化为可审阅、可导出的测试用例，通过需求解析、信息澄清、测试点拆解、用例生成、质量审核和人工确认等环节，降低测试人员从 PRD 到测试用例的整理成本。项目并不是单次调用模型直接生成一批用例，而是设计了较完整的工作流，并结合 FastAPI、LangGraph、SSE 流式输出、SQLite 和权限管理实现可交互 Demo。 ### 2. 项目亮点 - 从需求解析到人工审核形成了较完整的测试设计闭环，尤其是“信息不足先澄清，再生成用例”的思路比较合理。 - Skills 和工作流职责划分清楚，能够看到需求分析、用例生成、质量检查等能力之间的协作关系。 - 提供测试代码、运行说明和结构化文档，工程交付程度较高。 - 对模型失败、流程中断和人工确认进行了考虑，相比一次性生成结果更接近真实测试工作。 - 支持角色权限和历史记录，为后续多人协作版本预留了基础。 ### 3. 当前问题 - README 中提到可以显著缩短测试设计时间并生成大量测试用例，但暂未看到统一基准数据，例如使用哪些 PRD、人工基线耗时、有效用例率、重复率和缺陷发现能力。 - 当前主要支持 DOCX，面对 PDF、Markdown、表格较多的需求文档、图片型需求文档及格式损坏文件时，兼容性和降级路径还不明确。 - 首个用户初始化为管理员、角色初始化接口和后续 RBAC 之间的安全边界需要进一步说明，避免生产环境中出现管理员初始化被重复调用或抢占的问题。 - 生成数量不能直接代表质量。当前质量审核如果仍由同一模型、相似提示词完成，可能出现生成模型与审核模型共享盲区的问题。 - 用户上传的需求文档可能包含企业内部信息，目前还需要补充文件保存周期、删除机制、日志脱敏和备份边界。 - README 中关于单进程启动的提示容易产生歧义，建议明确“为何必须单 Worker”以及多 Worker 下具体会发生什么状态问题。 ### 4. 建议 - 补充一个可复现的评测集，至少选择 5～10 份不同类型需求文档，公布人工用例、AI 用例、有效率、重复率、需求覆盖率和耗时对比。 - 为每条测试用例保留“来源需求片段—测试点—最终用例”的可追溯链路，让使用者快速判断模型是否遗漏或曲解需求。 - 为文件解析增加 PDF、Markdown 和纯文本入口，并为解析失败、空文档、超长文档和表格错位补充测试。 - 管理员初始化可以改为一次性初始化令牌或部署期命令，并增加幂等检查和审计记录。 - 将生成审核拆成规则检查、覆盖检查和模型审核三层，避免把全部质量判断交给同一个模型。 - 在 README 中增加一段数据生命周期说明，包括上传文件、解析结果、模型输入、日志和历史数据分别保存在哪里、如何删除。 ### 5. 综合评价项目的工作流完整度和工程化程度较高，已经超出简单的“AI 生成测试用例”演示。当前最值得加强的是量化评测、文档兼容性、数据安全和质量审核的独立性。补齐这些内容后，项目的可信度和企业使用价值会进一步提高。

Michael commented

2026-08-06 17:18:32 +08:00

Owner

感谢评测和建议。我们已针对其中的提交级问题完成以下迭代：

文件输入现支持 DOCX、文本型 PDF、Markdown 和 TXT，并增加了 PDF 解析依赖与回归测试；图片型 PDF/OCR 和损坏文件自动修复仍明确列为当前边界。
首个管理员初始化已增加数据库单例门闩，用户、token/session 和初始化状态在同一事务中提交；并发初始化测试稳定保证只能创建一个超级管理员。
JWT/session 已增加有效性、过期、用户启用状态和数据库角色校验；登出、禁用用户及删除用户会正确撤销或清理 session。
核心任务 API 已按固定角色矩阵落实查看、创建、审核和导出权限。
README 已补充数据生命周期说明，明确上传文件、数据库、导出物和日志的存储位置及当前清理边界。
质量审核实际由规则检查、覆盖检查和 LLM 审核三层组成，本轮也补充说明了同模型审核可能存在共享盲区。

公开的多文档量化评测集、OCR、自动清理策略和独立审核模型仍属于后续增强，本轮未将其表述为已完成。

感谢这些建议，尤其是初始化安全、数据生命周期和可复现评测方面的提醒。

感谢评测和建议。我们已针对其中的提交级问题完成以下迭代： 1. 文件输入现支持 DOCX、文本型 PDF、Markdown 和 TXT，并增加了 PDF 解析依赖与回归测试；图片型 PDF/OCR 和损坏文件自动修复仍明确列为当前边界。 2. 首个管理员初始化已增加数据库单例门闩，用户、token/session 和初始化状态在同一事务中提交；并发初始化测试稳定保证只能创建一个超级管理员。 3. JWT/session 已增加有效性、过期、用户启用状态和数据库角色校验；登出、禁用用户及删除用户会正确撤销或清理 session。 4. 核心任务 API 已按固定角色矩阵落实查看、创建、审核和导出权限。 5. README 已补充数据生命周期说明，明确上传文件、数据库、导出物和日志的存储位置及当前清理边界。 6. 质量审核实际由规则检查、覆盖检查和 LLM 审核三层组成，本轮也补充说明了同模型审核可能存在共享盲区。公开的多文档量化评测集、OCR、自动清理策略和独立审核模型仍属于后续增强，本轮未将其表述为已完成。感谢这些建议，尤其是初始化安全、数据生命周期和可复现评测方面的提醒。

Michael closed this issue

2026-08-06 17:18:32 +08:00

No labels

No milestone

No project

No assignees

2 participants

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

Michael/SmartTest#3

No description provided.

Rows
Columns