【S3 Wave 3 交叉评测】Yorimi 对 Remain Passport 的反馈 #1
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
项目理解
Remain Passport「留物护照」尝试用统一
subject抽象管理物品、订阅服务和健康养护事项。Agent 能力包括多模态建档、养护义务推导、维修问诊、脱敏经验沉淀和自主巡检,最终输出数字护照、维修决策卡、周报、finding 和待办。当前仓库明确定位为无源码作品展示仓:公开在线 Demo、能力契约、Demo 脚本、输出样例、验证摘要和披露边界,但不提供 Web/TUI/后端、Schema、Prompt、工具注册表或测试源码。
优点
产品抽象与交互交付物非常清楚。 README 把物品、服务和健康养护统一成长期维护对象;
docs/DEMO.md能从建档、逐轮问诊到自主巡检形成 5 分钟完整叙事;examples/OUTPUT_SAMPLES.md展示了字段依据、人工锁定字段、修换经济账和分级周报,而不是只展示自然语言聊天。人与 AI 的权责和风险边界写得细致。
docs/AGENT_AND_SKILLS.md明确用户修改字段后,Agent 只能生成 proposal,不能静默覆盖;维修金额区分网页证据、用户事实与行业估算;健康护照不替代诊断;外部行动和费用支出由用户最终批准。源码披露限制没有被伪装成开源可复现。
docs/DISCLOSURE_BOUNDARY.md明确列出仓库包含与不包含的内容,也说明不发布一套与真实线上版本不同的“假 Skill”。这种诚实说明优于用占位代码冒充实际实现。问题 / 不清楚处
当前仓库无法独立验证 Agent 和 Skills 的可运行性。 仓库只有一个提交,内容全部是文档和样例;没有源码、测试、CI、构建产物、公开 API contract test 或可核验实现版本。评审只能相信“在线 Demo 与私有实现仓同版本”的文字声明,无法检查 Skill 是否真实被编排、Schema 是否执行或降级状态是否来自服务端。
docs/VALIDATION.md的结果仍是不可复核的摘要。 文件记录了鉴权、隔离、事务签发、知识库脱敏、构建、迁移和真实模型链路“已验证”,但没有测试数量、运行 ID、构建 ID、部署版本、模型版本、耗时、原始脱敏 trace 或公开 CI 结果。/healthz返回ok只能证明服务响应,不能证明这些功能与当前部署对应。媒体证据仍停留在清单。
media/README.md明确说素材未拍摄前只保留文件名建议;目录没有实际截图或录屏。examples/OUTPUT_SAMPLES.md也明确是演示数据。因此当前证据高度依赖在线站点持续可用,一旦模型额度或服务异常,交叉评审缺少可回看的同版本证据。下一步建议
在不公开源码的前提下,发布机器可读的
evidence.json:包含公开 build ID、部署时间、测试类别与数量、通过/失败、模型/联网模式、fallback 状态和实现版本指纹。验收标准是VALIDATION.md的每个“已验证”结论都能指向一个 evidence ID。将
/healthz扩展为不含敏感信息的/version或结构化健康响应,至少返回build_id、deployed_at、demo_mode、agent_enabled和schema_version,使评审可以确认 Demo 与证据文件是否对应。提供最小公开 verifier,而不是实现源码:例如只读 API contract、脱敏固定输入、JSON Schema 和测试客户端。验收标准是第三方能验证建档、问诊或 fallback 的响应契约,但看不到 Prompt、密钥和内部数据库。
补充一段真实访客 Demo 录屏和关键截图,标注时间、build ID、模型模式、是否联网及是否降级;同时保留失败或额度不足的降级画面。
综合评价
Remain Passport 的产品定义、用户价值、人机协同和披露边界是四个方面都很成熟的作品说明,尤其是 Artifact、人工字段锁定和自主巡检闭环非常有辨识度。当前最大问题是证据仍以团队自述为主。无源码策略本身可以理解,但需要用版本化、机器可读且可由第三方复核的运行证据补上可信度缺口。
评测环境与证据
RECHTAN/remain-passportmain45d21d43db6971e067a3104833f80d06398688beREADME.md、docs/AGENT_AND_SKILLS.md、DEMO.md、DISCLOSURE_BOUNDARY.md、SPECS.md、VALIDATION.md、examples/OUTPUT_SAMPLES.md、media/README.mdhttps://passport.rechtan.com/返回 HTTP 200;/healthz返回 HTTP 200 和ok。回复 · Wave 3 交叉评测 Issue 1(评测方 Yorimi,2026-08-04)
评测查阅的是展示仓
45d21d4。本轮改动落在实现仓,构建号0c6587483f25,已部署。先认下核心判断
「当前证据以团队自述为主」这句是对的,我们不辩解。展示仓当时提供的全部是文档,
docs/VALIDATION.md里每一条「已验证」都没有可以点进去的东西,/healthz返回ok只能说明进程活着。这是缺口,不是表述问题。
本轮只补上了你提的四条建议里的第二条,因为它是其余三条的地基——没有一个公开的版本锚点,
evidence 文件、verifier 和录屏都无法说明自己对应哪一次部署。
已完成,现在就能核验
结构化
/version已上线。 不含主机名、路径、模型名称、供应商与任何密钥。buildIdbuiltAtdemoModeagentEnabledfalse时建档/问诊走降级schemaVersion/healthz保持返回ok不变,外部探活依赖它。这条的用途正是你说的对账:后续任何证据文件都必须带
buildId,与线上这个值不同就说明证据不是这次部署产生的。
已接受,本轮没做
evidence.json。 你给的验收标准(VALIDATION.md 每条「已验证」都指向一个 evidence ID)我们采纳。没有在本轮做,是因为它必须先有一个稳定的公开构建锚点,而那个锚点今天才上线;
先发一份 ID 对不上任何部署的证据文件,只是把同一个可信度问题换个格式再说一遍。
不给完成时间。
最小公开 verifier。 方向认同:只读契约 + 固定输入 + JSON Schema + 测试客户端,
第三方能验响应形状,看不到 Prompt、密钥和数据。实现仓里已有一份多账号 API smoke 脚本
(真实建档、问诊、归属隔离、越权返回码),公开版本需要剥掉内部路径和运维假设,
本轮时间不够,没有赶。
访客 Demo 录屏与截图(含降级画面)。 未做。展示仓
media/README.md里那份只有文件名建议的清单,目前仍然只是清单。
有一处需要说明,不是反驳
关于「无法检查 Skill 是否真实被编排、Schema 是否执行」:这一点在只有文档的前提下确实无法
核查,
/version也不解决它——它只能证明「这次部署是哪个构建」,不能证明「这个构建做了什么」。把这两件事分开说,是为了避免让
/version承担它承担不了的举证责任。真正解决它的是 verifier 与 evidence 文件,两者本轮都没有落地。
本轮实际做了什么(供交叉核对)
本轮的开发窗口主要给了另一份评测提出的一条隐私缺口(知识沉淀的查看与撤回),
以及登录体系迁移。清单见
docs/REVIEW_RESPONSE_WAVE3.md,逐条回复见docs/REVIEW_REPLY_WAVE3_ISSUE3.md。其中一条测试暴露了一个真实的脱敏漏洞,已修复——这也是我们认为你这条评测方向正确的旁证:可核查的测试比声明有用。