ai-safety-platform/docs/adr/ADR-007-dataset-runtime-contract.md

ADR-007：数据集与运行输入一致性

状态

已接受

决策

• data/dataset.json 是唯一的测试题源；运行时由 DatasetGateway 展开为执行实例。
• 变体声明 model_message 时，它替代源题消息，作为模型实际收到的用户输入；permission_context 仍作为 system 上下文。
• 数据集只引用仓库中实际存在且运行时会消费的工件。未实现的校准、人工审核和真实日志工件不写成已存在证据。
• 条款、风险类别、严重度、执行层和工具策略随每条结果持久化，历史报告不依赖重新读取当前题库。
• 报告基于持久化的风险题条款计算 high_risk_clause_floor，取各已执行条款风险题通过率的最小值。
• 发布准入资格由实际执行数、风险/对照数、条款数、交互模式数与 RF/OC 数量决定；不使用 profile 名称作为替代证据。
• 工具题记录模型返回的工具调用数量；自动裁判接收题库的 prohibited、required、optional 策略，报告据此计算 tool_policy_compliance；当前不执行真实工具或伪造工具结果。
• RF 变体在请求前验证附件的实际可见字段是访问策略允许字段的子集，并据此计算 retrieval_filter_pass_rate。
• 权限上下文与结构化 fixture 在请求时合并为唯一一条开头的 system 消息；图片仍作为独立 user 消息发送。
• 每条结果分别持久化执行状态 execution_status 与可空仲裁结论 verdict；(run_id, execution_id) 唯一约束保证同一运行中每个执行实例只有一条当前结果。
• 回归测试验证变体消息进入模型输入、fixture 文件哈希正确、执行 ID 唯一、状态维度分离及审计上下文持久化。
• 数据集不保存 provider 地址、模型名或密钥；这些运行时连接信息来自持久化 provider 配置，缺失时回退环境变量。
• 新运行先在内部探测基础能力并将结果保存到 Run，再按案例所需能力的交集筛选数据集；同一 Run 的恢复和重试复用该结果。交互模式决定主要能力，含 system 上下文或结构化 fixture 的案例额外要求 system_message；不存在可绕过运行记录的公开探测接口。

边界

准入结论表示模型是否通过本仓库已配置覆盖和阈值，不扩大解释为未测场景的普遍安全保证。