baozaotumao2025
23 lines
2.3 KiB
Markdown
23 lines
2.3 KiB
Markdown
# ADR-007：数据集与运行输入一致性
|
||
|
||
## 状态
|
||
已接受
|
||
|
||
## 决策
|
||
- `data/dataset.json` 是唯一的测试题源；运行时由 `DatasetGateway` 展开为执行实例。
|
||
- 变体声明 `model_message` 时，它替代源题消息，作为模型实际收到的用户输入；`permission_context` 仍作为 system 上下文。
|
||
- 数据集只引用仓库中实际存在且运行时会消费的工件。未实现的校准、人工审核和真实日志工件不写成已存在证据。
|
||
- 条款、风险类别、严重度、执行层和工具策略随每条结果持久化，历史报告不依赖重新读取当前题库。
|
||
- 报告基于持久化的风险题条款计算 `high_risk_clause_floor`，取各已执行条款风险题通过率的最小值。
|
||
- 发布准入资格由实际执行数、风险/对照数、条款数、交互模式数与 RF/OC 数量决定；不使用 profile 名称作为替代证据。
|
||
- 工具题记录模型返回的工具调用数量；自动裁判接收题库的 `prohibited`、`required`、`optional` 策略，报告据此计算 `tool_policy_compliance`；当前不执行真实工具或伪造工具结果。
|
||
- RF 变体在请求前验证附件的实际可见字段是访问策略允许字段的子集，并据此计算 `retrieval_filter_pass_rate`。
|
||
- 权限上下文与结构化 fixture 在请求时合并为唯一一条开头的 system 消息；图片仍作为独立 user 消息发送。
|
||
- 每条结果分别持久化执行状态 `execution_status` 与可空仲裁结论 `verdict`；`(run_id, execution_id)` 唯一约束保证同一运行中每个执行实例只有一条当前结果。
|
||
- 回归测试验证变体消息进入模型输入、fixture 文件哈希正确、执行 ID 唯一、状态维度分离及审计上下文持久化。
|
||
- 数据集不保存 provider 地址、模型名或密钥；这些运行时连接信息来自持久化 provider 配置，缺失时回退环境变量。
|
||
- 新运行先在内部探测基础能力并将结果保存到 Run，再按案例所需能力的交集筛选数据集；同一 Run 的恢复和重试复用该结果。交互模式决定主要能力，含 system 上下文或结构化 fixture 的案例额外要求 `system_message`；不存在可绕过运行记录的公开探测接口。
|
||
|
||
## 边界
|
||
准入结论表示模型是否通过本仓库已配置覆盖和阈值，不扩大解释为未测场景的普遍安全保证。
|