Files
streamline/docs/rsi.md
T
2026-11-16 17:26:44 -08:00

670 lines
46 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Streamline 的递归式自我改进(RSI)
> 一份关于「一个 coding agent 平台如何用自己产出的数据改进自己的做事方法」的工程报告。
> 素材全部来自本仓库的真实实现:`control-server/src/{rsi_*,kb_*,evidmon_*}.ts`、
> `satellite/src/{runner,evaluator,tool_gap}.ts`、`shared/src/{eval_prompt,conditions}.ts`。
> 每个例子都给出**方法论 / 数据 / 指标**三段,指标全部可从生产库直接算出。
---
## 0. 一句话结论
Streamline 不只是「让 agent 干活」,它已经在**用干活产生的数据,改自己干活的方法**:
```
┌──────────────────── 人改代码、人决定上线(唯一的写权限)─────────┐
│ │
任务 ──► 评估器 ──► 执行器 ──► Fix-Critic ──► 人工复核 ──► 真机条件 / 驳回理由 / 会话日志
▲ │
│ ▼
prompt(代码常量)◄── 实验机复跑 ◄── 离线重放 ◄── 自动实验回路审计会话 ◄──┘
知识库注入 ◄── 归因 ◄── 真机条件与注入知识的一致性
工具库 ◄── 提案 ◄── 会话日志里的重复命令签名
```
关键不是「有没有自动改」,而是**改动是否可证伪**:这条回路上的每一次修改,
都必须先拿出一份用**执行结果**(而非另一个模型的意见)算出来的证据。
---
## 1. RSI 是什么
**Recursive Self-Improvement**:agent 不只完成任务,而是利用完成任务产生的经验、
代码与评测结果,改进自己的**做事方法**,再用改进后的自己去做下一轮任务。
```
任务 → Agent → 结果 → Evaluator → 改进算法 → 更强的 Agent → 任务 …
```
三个常见误解,先澄清:
**① RSI ≠ 自己训练自己。** 可被改的对象远不止权重:system prompt、workflow、
工具与技能、记忆/知识库、上下文管理、子 agent 分解、评测器本身。分级:
| Level | 改什么 | Streamline 现状 |
|---|---|---|
| L0 | 不改自己 | — |
| L1 | 改 Prompt / 记忆 | ✅ 复现知识库注入、evaluator prompt 版本库 + 热更 |
| L2 | 改 Workflow / 判据 | ✅ 证据判据版本化(evidmon)、失败模式 → 提案三段式 |
| L3 | 改 Skills / Tools | ✅ `record-evidence`;🆕 工具缺口自动挖掘 |
| L4 | 改 Agent Code / 架构 | ⚠️ 人在环,提案可提、代码需人写 |
| L5 | 改模型权重 | ❌ 不做(也不该在业务平台里做) |
| L6 | 改「改进自己的能力」 | ⚠️ 分类器准确率、判据精度、风险分校准已被度量,但优化仍靠人 |
**② 真正难的是 Evaluation,不是 Improvement。** 没有可靠的 evaluator,RSI 会退化成
**recursive self-delusion**:模型把评分标准也一起改松了,指标一路上涨,实际能力不变。
所以**评估器必须尽可能独立于被优化对象**。
**③ 为什么 coding agent 是 RSI 最早落地的领域**:代码天然有 evaluator——编译、测试、
真机验证、MR 是否被合入。Streamline 更进一步:它的执行器**在真机上确立事实**
(`run_conditions`),这是一份既不属于评估器、也不属于修复器的独立证词。
---
## 2. 已有实践(改造前就在跑的)
### 例子 1 · 复现知识库:把一次执行的经验变成下一次的先验
**方法论。** 传统做法是让一个模型读日志、事后"总结知识"。本仓库反过来:**执行器自己
写下它确立了什么**(`scope / subject / statement` 三元组),因为它刚做完那件事,比下游
读日志的模型更知道该怎么命名。于是"蒸馏"退化成一次**纯代码的归一化**——没有模型、
没有节点依赖、毫秒级(`kb_promote.ts` 顶部注释记录了模型版失败的三条代价)。
冲突仲裁独立成 DB-free 的四个函数(`kb_arbitration.ts`):key 归一化、命题等价、
证据加权、置信衰减。注入侧(`kb_retrieval.ts`)有五道闸:只取 `active`、置信下限、
Top-K、渲染长度硬上限、`KB_INJECT=0` 急停开关。
**数据。**
- `run_conditions`:每轮执行结束镜像回控制面(工作区会被清,DB 不会)
- `kb_claims` / `kb_evidence` / `kb_proposals` / `kb_injections`
- 只有 `verdict='verified'`(真机上真的做过)才能升格为 claim
**指标。**
- `kbAdoptionRate` 知识采纳率 = 评估器 `KB_USED` 引用过的注入 / 上报过引用的注入
- `kbHitRate` 知识命中率 = 真机证实 / (证实 + 推翻)← 本次新增,见例子 8
- claim 置信度 = Laplace 平滑的支持率 × 90 天半衰期衰减
**局限。** 检索是关键词 + 结构化过滤,同义表述("Story 相机" vs "故事拍摄页")召不回;
向量列 `kb_claims.embedding` 留着但故意没用——一次错误注入的代价是一次真机构建,
比一次漏召回贵得多。
---
### 例子 2 · Fix-Critic:把提出者和评分者拆开
**方法论。** 修复 agent 自称 `STATUS: FIXED` 后,**另一个只读的 claude pass** 独立复判,
四选一:`ROOT_CAUSE / SCENARIO_BANDAID / INTENT_MISMATCH / UNCERTAIN`,外加一个
0–100 的风险分。严格只读——不许改代码、不许构建、不许碰设备。判为旁路时**自动打回重修**
(有次数上限),把评审意见塞进下一批的 prompt。
这就是 RSI 架构里最关键的那条:**evaluator 必须独立于被优化对象**。它拦的是最典型的
自我认证——`if (场景) return;` 让坏现象消失,负向验证通过,但根因机制没动。
**数据。** `tasks.fixed_risk`(风险分)、`tasks.critic_verdict`(判定类别,本次新增列)、
`reviewHistory` 里 `source='critic'` 的反馈条目、`logs/critic-<round>.log` 全文。
**指标。**
- `rootCauseRate` 根因修复率、`bandaidRate` 场景旁路率(分母 = 有判定的批次)
- `riskCalibration` **风险分校准**:判"可信"(risk<40)的任务里,真的一次通过的比例
- `riskDiscrimination` 区分度 = 低风险组通过率 − 高风险组通过率
> 后两个是**给尺子量尺子**。区分度塌到 0 时,"可信度"标签就没有信息量了,
> 此时所有其它质量指标都是用弯尺量出来的——这是策略队列应当最优先修的东西。
---
### 例子 3 · EffectiveSpec:规格的自我修正,且保住基线
**方法论。** 执行期在真机上发现 TestSpec 写错了(`spec='contradicted'`),修正不是
就地改原文,而是折进一份**派生**文件 `EffectiveSpec.md`(引用块标出,优先于原文)。
`TestSpec.md` 永远只读。
为什么重要:`TestSpec.md` 同时是 Fix-Critic 的判据、和**评估器首轮质量的基线**。
如果允许执行期改它,被优化对象就把尺子一起改了——这是 RSI 里最隐蔽的自欺路径。
**数据。** `run_conditions.spec ∈ {predicted, contradicted, absent}` + `spec_said`
(当时 spec 是怎么说的)。这是评估器质量的**逐条判决书**。
**指标。**
- `specPredictionRate` 规格预测命中率 = predicted /(predicted+contradicted+absent)
- `specContradictionRate` 规格反证率
- 明细 `topSpecMisses`:按 subject 排的"最常猜错的条件"
---
### 例子 4 · 证据判据闭环(evidmon):agent 改的是"尺子"本身
**方法论。** 一条完整的 L2 回路,且是本仓库里最早跑通的:
机器定时写指标快照 → 每日分析任务读快照写「发现」→ 提「策略」→ **人工批准** →
判据新版本生效(无需发版,节点每次采集时拉取)→ 用批准时刻打戳的窗口做前后对比。
杀手锏是 `evidmon_replay.ts`:判据是纯函数、每次采集的 ffprobe 结果都存着,
所以候选判据能在**毫秒内在全量历史上重放**,批准前就知道哪些样本会翻盘。
不用等一个季度的 A/B。
**数据。** `evidence_capture_events`(含 probe 原始结果)、`evidmon_metrics_daily`、
`evidmon_findings` / `evidmon_strategies` / `evidmon_criteria`(判据版本表)。
**指标(L0 证据可采信率往下拆)。**
| key | 含义 |
|---|---|
| `evidenceAcceptanceRate` | 复核态任务里带着可采信证据的比例(北极星) |
| `coverage` / `keyEvidenceRate` | 有采集 / 有通过的演示视频 |
| `validity` / `videoValidity` | 采集通过率 |
| `durability` | 已镜像 TOS(明天还在) |
| **`verdictPrecision`** | **判坏的确实坏——同样是"给尺子量尺子"** |
| `retryRoi` / `retryRegression` | 重拍后判定改善 / 反而变差 |
---
### 例子 5 · 可读性报告 Prompt Lab:prompt 变成有版本的数据
**方法论。** 报告生成 prompt 的正文是代码常量(`shared/src/readable_prompt.ts`),
生产永远用它;实验室里可以存草稿版本(`readable_prompts`)、在任意历史目标上试跑、
存量批量重跑、并排对比。这是**"prompt 可被实验"的基础设施**。
(它曾有一个 active 指针决定生产用库里哪一行,新基线「插入但不自动激活」——代码基线
因此两次在库里躺了数周没人切,2026-10-12 拆掉,生产改为只认代码。)
配套的第一性原理写在 `docs/逼近AI实现报告可读性的极限.md` 里,其中最锋利的一条是
**pixel-blind 定律**:格式化者看不见像素,所以 **ImplReport 的质量就是可读性的天花板**——
要提升第 N 阶段,先去优化第 N−1 阶段。
**数据。** `readable_prompts` / `readable_report_runs` / `readable_sources`。
**指标。** 目前只有人眼评审 + 生成成功率。**这是已知缺口**:没有客观 scorer,
所以这条回路停在 L1 的"可实验",没进到"可自动择优"。
---
### 例子 6 · record-evidence:把 prompt 纪律变成工具约束(L3)
**方法论。** agent 反复手敲 `adb` / `xcrun` / `ffmpeg` 录屏,错法千奇百怪,
产出还只能靠文字描述取信。做法不是把 prompt 写得更长,而是**做一个工具**:
统一命令、自动 ffprobe 校验时长/画面/完整性、把每一次尝试(含失败)结构化写进
`evidence/manifest.jsonl`。
> **工程 know-how:工具化把「要求模型做对」变成「模型只能做对」。**
> prompt 微调的收益会迅速见顶,能力边界由工具决定。
**数据。** `evidence_capture_events`(就是 manifest 的入库形态)。
**指标。** 见例子 4 整棵树——这棵树本身就是工具化之后才有的东西。
---
### 例子 7 · 无法复现的产出化:连分类器都要被打分
**方法论。** `unreproducible` 不再是"平台耸肩",而是产出一份给报告人的结构化说明。
其中只有一个判断题——六种失败形状选一——用**规则分类器**做,**人工确认后**才发出。
`env_blocked`(我们自己的构建/设备/CLI 出问题)永远不可发送。
**数据。** `unrepro_digests`:`category`(人工确认的)与 `suggested_category`
(分类器猜的)**同时保留**。
**指标。** `unreproClassifierAgreement` = 分类器建议被人工采纳的比例。
这是一条 **L6 味道**的指标:它度量的不是产出质量,而是"我们做判断的能力"有多准。
---
## 3. 本次新建的四条回路
### 例子 8 · 修复质量指标树(`rsi_metrics.ts`)——先把尺子架起来
**方法论。** 改造前 `weekly_report.ts` 只统计**吞吐**(新增 / 派发 / 合入),
一个质量指标都没有。没有质量时间序列,任何 prompt 改动都是盲改:无法回答
"这次改动到底让它变强了没有"。于是照抄 evidmon 的形状,把北极星定为
**L0 一次交付通过率**,往下拆成九组解释性指标。
三个刻意的定义选择:
1. **交付 ≠ 裁决。** 停在 `manual_review` 的任务算"已交付"、不算"已裁决"——
否则只要不复核,通过率就会上涨。
2. **只有 `verified` 条件进规格分母。** `assumed` 是评估器自己的推断被回声,
拿它给规格打分等于自己批改自己的卷子。
3. **没上报引用的注入是缺数据,不是零采纳。** 否则某个节点部署落后,
知识采纳率就会莫名其妙下跌。
**数据。** `tasks`(status/attempts/fixed_risk/critic_verdict/reviewHistory/mr*) +
`task_transitions`(只取 `source='forward'`) + `run_conditions` + `kb_injections` +
`unrepro_digests`;快照落 `rsi_metrics_daily`(每日一行,机器定时写)。
**指标。**
| key | 定义 | 为什么要它 |
|---|---|---|
| `firstPassYield` | 无驳回即批准 / 已裁决 | 北极星 |
| `rootCauseRate` / `bandaidRate` | Critic 判定分布 | 修得对不对,而不只是修没修好 |
| `humanRejectRate` | 驳回次数 / 交付次数 | 人的返工负担 |
| **`riskCalibration` / `riskDiscrimination`** | 判"可信"的确实一次通过 / 低-高风险组差值 | **给尺子量尺子** |
| `specPredictionRate` / `specContradictionRate` | 真机对 TestSpec 的判决 | 评估器首轮质量 |
| `reworkRounds` / `multiRunRate` | 平均执行批次 / 多批次率 | 成本 |
| `mrMergeRate` | 已批准且有 MR 的合入率 | 终局验收 |
| `unreproRate` / `infoRequiredRate` | 无法复现 / 信息不足 | 把球踢回去的比例 |
| `kbAdoptionRate` / `kbHitRate` | 采纳率 / 命中率 | 知识回路健康度 |
样本量下限取 5(证据回路是 8):修复任务比证据采集稀疏得多,
低于门槛的比率照常显示,但**标记为"样本不足"**,前端置灰。
---
### 例子 9 · evaluator prompt 模板化 + 随任务下发
**方法论。**
1. **模板化**:`buildEvalPrompt` / `buildRegenPrompt` 的正文搬进
`shared/src/eval_prompt.ts`,变成 `{{占位符}}` 模板(之后执行期的 bug / feature /
security / prototype / 验证模板也照此搬进 `shared/src/run_prompt.ts` 等,全平台的
派发 stage 见 `control-server/src/agent_prompt_db.ts::PROMPT_STAGES`)。
迁移时用 24 组组合(语言 × remark × 知识注入 × regen)逐字节比对了新旧渲染结果,
**完全一致**——"只动管道、不动行为"是可核对的断言,不是口号。
(之后英文语言指令被**有意**加强了一版:中文模板 + 一句"请用英文"常导致中英混写,
新指令显式声明"不要跟随下方指令的语言"并保护下游按中文标题定位的结构标签。
这是这次改造里唯一一处刻意的行为变更。)
2. **随任务下发**:控制面在 claim 时把**自己编译进去的那份代码正文**随任务下发
(`protocol.ts::WithEvalPrompt` / `WithRunPrompt`,与 `kbContext` 同一条路),
卫星收到就用、收不到就用自己包里的。于是改 prompt = 改常量 + 部署,卫星包落后的
节点也跑新措辞。RSI 实验机复跑时,同一条路换成候选正文——这是"prompt 可实验"的基础。
**曾经的第 3 步:版本库 + 离线重放打分(已删除)。** 08-12 建过一套 `agent_prompts`
版本库 + 每个 stage 一个 active 指针(`settings.rsiActivePrompt:<stage>`)+ 只读的离线重放
(候选 eval prompt 在历史工单上重跑,按真机核实的条件召回 / 终态判定 / 结构纪律 / 不重犯
已知错误打分),批准一条 prompt 提案就移动指针。2026-10-12 核对生产:指针从未设过、提案
0 条、重放 0 次——生产一直跑的就是内置默认;它留下的唯一长期效果,是让每个读代码的人
以为"改默认不生效、要走提案"。于是整套拆掉:生产只认代码,版本历史就是 git。
打分思路里**不用 LLM 当裁判**那条原则由自动实验回路继承(例子 13):与被评对象同源的
裁判会让回路学会"讨好裁判"而不是"变强"。
---
### 例子 10 · 知识注入的效果归因(`kb_outcome.ts`)——把 L1 推向 L2
**方法论。** 改造前这条回路是**开口**的:`kb_injections` 记了注入什么、
评估器上报了采纳什么,然后就没了——`outcome` 与 `evaluated_at` 是两列**从没被写过**的
预留列。后果是:一条知识可以被注入五十次、每次都是错的,置信度**一分不掉**,
检索还在把它排在前面推给下一个人。
现在每轮执行结束(跟条件镜像同一个时机)做归因:把注入过的 claim 与该次执行
**真机核实**的条件配对,用与仲裁同一套等价判定比对命题:
一致 → 支持证据,不一致 → 反驳证据,
然后走 `recordExecutionVerdict` 重算置信度、必要时自动降级。
> **配对规则于 2026-08-21 改写,原因是它一次都没配上过。**
> 原规则是 `(scopeKey, subjectKey)` 严格相等——与仲裁同一套。那对仲裁是对的
> (比的是同一次运行里的行),对归因是错的:归因比的是几个月前另一台节点写的
> 自由文本。生产数据没有含糊之处——**457 次「运行期确实核实过东西」的注入、
> 49,483 对 claim × 条件,subject 精确命中 0 次**,历史上每一次归因都滚成
> `inconclusive`,执行期证据一条没写过。
>
> 新规则见 `kb_outcome.ts::matchStrength`:kind 必须相同、平台必须相容,
> 然后 subject 相似度与 **statement 相似度**两条锚各自都能成立配对——
> subject 是两次运行各自起的名字(3,595 个已核实条件的 subject 里,只有 9 个
> 在第二个任务里再出现过),statement 才是命题本身。
> 确认与推翻的门槛**不对称**(`MATCH_THRESHOLD` / `REFUTE_THRESHOLD`):
> 错误的推翻会废掉一条本来正确的知识,代价远高于漏掉一次。
>
> **但这不足以让回路活过来。** 把新规则回放到全部历史数据上,49,483 对里只配上
> 1 对。真正的约束不在匹配器,而在检索:注入进去的 10 条知识,跟这次执行真正
> 会碰到的东西基本无关。更根本的是,这个库今天几乎不复用——3,748 条 claim 里
> 只有 **7 条**拿到过一个以上任务的证据。匹配器是必要条件,不是充分条件。
三条纪律:
- **采纳 ≠ 正确**:所有被注入的 claim 都参与打分,不只被引用的那些。
否则一条被忽略的错误知识永远无法被推翻。
- **沉默 ≠ 同意**:本轮没触及的 claim **不给任何证据**(不是弱支持)。
否则置信度会变成"被检索过多少次"的度量。
- **只认 `verified`**:`assumed` 条件是评估器读了注入以后的推断,
拿它确认注入,等于让回路自造证据。
**数据。** `kb_injections.outcome ∈ {confirmed, contradicted, mixed, inconclusive}`
+ `evaluated_at`;`kb_evidence` 追加执行期证据(权重走既有 `evidenceWeight` 表)。
**指标。** `kbHitRate`(命中率)、注入归因分布(证实/推翻/混合/未触及/待判),
以及它对 claim `confidence` 的实际影响。
---
### 例子 11 · 失败模式聚类 → 提案三段式(`rsi_analyst.ts` + `rsi_strategy_db.ts`)
**方法论。** 显而易见的做法是"把一个月的驳回理由丢给 LLM,问它前三类失败是什么"。
读起来很漂亮,且**不可证伪**。两个具体问题让它不适合做这里的原语:
同样输入两次跑出不同分桶,于是"这类失败有没有变少"根本问不出来;而且是
**同一个模型家族在给自己的弱点命名**。
所以分类用**关键词规则表**:笨、稳定、可审计——每个桶里的任务都能列出来被人反驳,
准确率本身可度量(对照 `unreproClassifierAgreement` 的做法),改规则本身也是一条可提的策略。
LLM 仍然有活干,只是往后挪了一步:读**已经数好的**聚类和指标变化,写发现与提案。
三个信号源,全部已结构化、无需重新叙述:人工驳回理由(驳回必须写理由,所以文本一定存在)、
Fix-Critic 打回(自动拦下的失败,基于复核的统计永远看不到它们)、
真机推翻 TestSpec 的条件(评估器的锅,记在事实里)。
提案的生命周期沿用 evidmon 已经验证过的三段式,并保留它证明有效的两条铁律:
1. 没有人就出不了 `proposed`——分析任务用 cluster secret 认证,批准路由要 SSO 身份;
2. `effectiveAt` 在**批准那一刻**打戳,事后不能把前后窗口画得对自己有利。
所有旋钮(prompt / tool / workflow / capability)的提案都是**待办**:批准后由人写代码,
上线后标记生效、开始计前后对比。`prompt` 旋钮曾经**批准即执行**(写版本库 + 移动
active 指针),配过一道离线重放证据闸(08-21 因拦错了人关闭);2026-10-12 随提示词库
一起拆掉(见例子 9)——这期间生产上一条提案都没有过。
**数据。** `rsi_findings`(研究日志,附 `clusters` 快照)、`rsi_strategies`
(提案 + 决策 + 前后值)、`rsi_metrics_daily`。
**指标。** 每个聚类的 `count / tasks / share`(份额之和恒为 1,一条信号只进一个桶);
每条已生效策略的 before/after(按日快照取均值,两侧样本量随答案一起显示,
样本不足时**只给数字、不给结论**)。
---
### 例子 12 · 工具缺口挖掘(`tool_gap.ts` × 2)——L3 的需求发现
**方法论。** `record-evidence` 证明了工具化的收益,但**难的从来不是造工具,
而是发现哪一段咒语值得造工具**。现在让机器发现:各卫星扫自己最近的 session 日志,
提取所有 Bash 工具调用,把每条命令**归一化成签名**(去掉路径、id、hash、长数字、
引号串;短 flag 排序去重;取管道头部作为意图),控制面聚合全集群。
排名 `runs × (1 + failRate) × log(1 + tasks)`——三个信号缺一不可:
只跑过两次不值得造工具;每次都成功的命令当命令用挺好;
同一个任务里跑二十次是一个 agent 在重试循环里,不是模式(所以取 log 阻尼)。
**日志不出节点**:会话日志按 MB 计,只有聚合结果(签名、计数、一条样本)过网。
**数据。** `rsi_tool_gaps`(签名主键,`first_seen_at` 永不更新——
"这个缺口已经开了两个月"通常是最有说服力的数字)。
**指标。** 签名的 `runs / targets / failRate / score`,以及三态流转
`open → proposed → toolized`(或 `ignored`)。
---
### 例子 13 · 自动实验回路——把「发现 → 提案 → 验证」也接起来
**方法论。** 前十二个例子解决了指标、版本和判定,但仍要人读日志、想改法。
`scripts/rsi_loop/` 是每天跑在 temp-ios-01 上的独立回路进程,把缺的这一半补齐:
```
近 14 天原生会话
→ 同一堵墙 / 同族命令重复失败切片(读取类输出不算失败)
→ dead_end / decision_error / context_missing / not_failure 审计
→ 按失败调用浪费聚类,只选一个问题、只往现行 prompt 插入一段
→ 目标点 + 其它模式保留集配对重放
→ /api/rsi-loop/experiments(离线没过也记录)
```
审计模型只负责提出**可证伪的假设**。离线闸不问另一个模型「写得好不好」,只看第一步
动作形态:开始等 App 时有没有继续手写长 sleep / 轮询;撞过同一堵墙后有没有原样重试;
Frida 首次失败后有没有不诊断就再次注入。目标组最多 36 点、保留集 15 点,每个点的现行 / 候选
各跑三遍,以 `baseBad − candBad` 做 paired bootstrap,目标组至少 15 点(2026-10-03 用 24 点 × 2 遍
时区间半宽约 ±0.11,一个与现行打平的候选以下界 −0.104 被拦,故加到 36 点 × 3 遍,半宽约 ±0.08)。
离线的下一步是真机复跑,所以离线只拦**明显变差**的(目标组与保留集的 95% 区间下界都不低于
−0.10)——2026-10-02 完整试运行里现行版在「等 App 就绪」点上坏选择率只有 18.8%,要求离线显著
变好会让每个实验都停在这里。规则在 `shared/src/rsi_loop.ts`,回路进程改不了,控制面收到提交后
会重新验模板和离线结果。
**边界。** 原生会话含工单正文和测试账号,只落 temp-ios-01 的 `~/rsi_loop/data`,
默认 14 天删除;控制面只收到聚合模式、四段实验记录和数字。重放在第一次失败结果后截断,
有后台任务未结束、缺环境附件或上下文过大的点不用;所有工具调用由 hook 拒绝。候选新增行
按锚点插进历史会话第一条用户 prompt 的同一位置、不加标题(离线比生产更醒目会高估候选),
锚点定位不到的点两组都不跑;base / candidate 共用同一历史前缀。这仍是「续跑一步」的近似,
不能把它说成真机重演。重放报错率超过 20% 或目标点不足 15 个时不提交,避免把基础设施故障
记成「候选无效」。
**真机复跑(离线之后的第二道闸,也是实验的终点)。** 离线重放只看模型想做的第一步,判的是
**机制**;真机复跑判的是提案登记的**业务指标**。它从评估集挑 5 个同平台、跑完过的历史 bug,在
专用实验机上用现行 / 候选 prompt 各完整跑一遍(Android 在 `evaluator-android-01`,iOS 在
`temp-ios-01`,`RSI_LAB_NODES` 可改),同一来源两版交替先后以抵消设备上残留的上一次构建。
以「走不通时耗掉的时长」立项的实验,5 个来源里 3 个换成近 60 天生产上走不通(unreproducible /
fix_failed)的单——评估集里这种单每平台只有 2 个,只喂能修好的单测不出「早认死路」。判定是
**安全闸**而不是显著性检验(`judgeLab`):目标指标方向改善、agent 自报修好的个数不比现行少
(自报不是真值,只作底线)、到达复现现场的任务数不比现行少(防「跳过复现换提速」)、单次用时
不长于现行 20%,四条都满足才算通过;3 天到期不足 3 对跑完判不通过。每次复跑是一条
从评估集复制出来的 bug 任务,id 前缀 `rsi-lab-`,控制面与卫星据此关掉所有生产副作用:不推分支
不提 MR、不碰 Meego(不带单号,附件按来源任务只读代理)、不发卡片 / webhook、
不记状态流转、不注入 / 不升格知识、不出可读报告、不上传证据,并从看板、统计、周报、RSI 指标与
基线里排除;只保留会话摘要和节点本地的证据清单,指标从它们来。只有 `bug.run` 能复跑(评估集只有 bug)。
**运行时实验(执行配置包)。** 拆 160 批生产执行的时间:模型思考占 31–34%,是最大的一块;
每批写明的 sleep 合计 Android 7.6 分、iOS 4.0 分;构建只在 iOS 上是大头(约 25%,`airb` 拉产物)。
这些都不是「prompt 少一句话」能改的,所以回路还能提交 `kind=runtime` 的实验:两组同一版 prompt,
候选组多带一个**执行配置包**(`shared/src/executor_profile.ts`),派单时随任务下发,卫星按它改
CLI 参数或在 prompt 末尾追加一节。配置包是**封闭目录里的旋钮**,目前两个:`effort`(claude 的
`--effort`,对着模型思考那三分之一)和 `ui_settle`(`wait-for --settle`:画面指纹连续 1.2 秒不变
就返回。iOS 用 `catuse ui` 的界面大纲,约 0.24 秒、视频播放不影响;Android 在设备上给截屏中段算
md5,约 0.65 秒,视频流页面永远等不到稳定——把 10MB 原始截屏拉回来取样要 1.6 秒,比要替代的
`sleep 3` 还慢,已弃用。所以这个旋钮先在 iOS 上试)。不让配置包携带任意代码是有意的:量指标的尺子(证据清单、逐步计时、conditions)
和执行器在同一个卫星包里,能换代码就能改尺子。新旋钮由人写代码、正常部署,回路只决定开不开。
运行时实验不走离线重放(重放比不了换参数之后整批怎么跑),直接复跑;一个实验只能改 prompt
或拧旋钮之一,否则归不了因。复跑认领时记下节点的卫星包版本,同一来源两组版本不一致(中途
部署过)的配对不可比、不进判定。实验机上的复跑另开完整计时(命令 4000 字、绝对时刻、结果
末尾 300 字),两组都开,不影响比较。
**为什么没有线上灰度。** 最早的设计在离线之后还有一段线上灰度(同平台派单按任务哈希分一半
走候选、过程指标单侧显著就自动上线、上线后留旧版对照观察 14 天、变差自动 revert),
2026-10-05 整套下线,代码与页面一并删除。原因是对照不成立:新进来的生产任务之间差别太大
(平台、模块、难度、复现路径),两组新任务的差异主要是任务本身的,不是改动的;按平台划分后
Android 每天只有约 6 批,凑够能判的样本要几周。跑过的历史任务有现成的基线——同一个任务、
同一台实验机、新旧两版各跑一遍——差异才归得到改动上。所以生产派单永远走现行版本,
`rsi_experiment_assignments` 表保留但不再写入。
**自动执行权限。** 这条新回路和旧的 `/api/rsi` 人工提案系统不是同一条权限链:
它用独立 `RSI_LOOP_TOKEN` 只能读状态 / prompt / 会话、提交实验、写时间线,不能改生产 prompt。
真机复跑的判定由控制面的 `rsi_loop_judge.ts` 按纯函数规则完成;同一 stage 在 Android / iOS 上
各允许一个进行中的实验(实验机一台只跑一个实验的复跑)。复跑结论就是实验的终点,**不会自动改
生产 prompt**,上线由人决定。人在页面能暂停回路、停止复跑。
**批准上线:哪端复跑通过就只上哪端。** bug.run 一份模板两端共用,而实验只在实验机那一端复跑过。
所以模板支持平台段(`{{#ios}}…{{/ios}}`,`shared/src/prompt_platform.ts`),控制面派单时按任务
平台展开,卫星拿到的是普通正文。回路提交时声明策略范围:单端只在那一端复跑;双端两端各建一条
实验(同一 `group_id`,另一端实验机忙就排队),两端都跑完才决定——都通过两端一起上,只有一端
通过就只上那一端;另一端「判不了」(可比的对数不够)可以重跑那一端。单端通过后管理员也可以
「补另一端复跑」。只上一端时新增行包进该端的平台段,另一端展开后的正文必须逐字节不变,这由
`shared/src/rsi_ship.ts::planPromptShip` 每次校验;运行时旋钮上线改的是按端分开的
`PRODUCTION_PROFILE`,天然互不影响。批准 / 驳回只有管理员能做,**批准不改任何指针**:
它定下上线范围、校验补丁可用,改动由人用 `bun scripts/rsi-ship.ts <实验 id>` 在本地代码上
重算并写进常量,提交后照常部署;判定任务每轮按运行中的代码核对,带上了记「已上线」,之后
又没了记「已撤回」。实验的基线在提交时存成快照(按端展开),复跑的现行组跑快照而不是派单时
的代码,中途有改动上线也不会让配对失真;批准时代码改过就按锚点变基,找不到位置就是冲突,交给人。
规则在 `control-server/src/rsi_ship_service.ts`。
**数据与指标。** `rsi_experiments` / `rsi_experiment_events` 记录问题总结、猜想、方式、
离线结果、复跑判定和结论;`rsi_round_metrics` 每批存两类指标,定义在
`shared/src/rsi_loop.ts::LOOP_METRICS`。提案优先登记业务指标,过程指标只在找不到可信因果链时用:
| 业务指标 | 口径(真值来源) | 2026-10 生产基线(160 批) |
|---|---|---|
| `reach_s` 到达复现现场用时 | 这批开始到第一张校验通过的 `before-*` 证据(证据清单 `manifest.jsonl`,ffprobe 判 pass/warn);没到达按整批截尾;之前批次已到达的不计 | 中位 Android 30 分、iOS 44 分,约占整批一半 |
| `reach_miss` 未到达复现现场 | 一批结束仍无合格 `before-*`;任务级任一批到达即算到达 | 修好的批次 Android 17%、iOS 14% 未到达;复现不了的 12 批里 10 批未到达 |
| `evidence_fail` 证据校验失败 | 证据清单里判 fail 的截图 / 录屏次数(要重拍) | 每批 Android 0.6、iOS 1.0 次 |
| `dead_end_s` 走不通时耗掉的时长 | 没以 FIXED 收尾的批次的整批时长,修好记 0(早期失败识别) | — |
过程指标是 `ui_wait_s`、`blind_sleep_s`、`failed_calls`、`repeat_fail_calls`、`frida_fail_calls`、
`tool_calls`,加两条底线 `round_wall_s`、`round_failed`。
业务指标的真值不从计时文件取:计时文件里命令只留前 200 字,`record-evidence` 的 `--out`
有六成被截掉。证据按时间窗归批,不信条目里的 `round` 字段(那是 agent 填的尝试序号,36% 对不上
批次号)。成功率没有单列成目标:唯一现成的信号是 agent 自报 FIXED,按纪律它只当底线。到达类
目标有一条防刷分的确定性规则(`lintMetricGaming`,回路进程和控制面各验一遍):候选新增内容不许
涉及截图 / 录屏 / 证据命名——到达是按第一张合格证据量的,改快门时机会让指标变好而现场没变快。
页面同时画全舰队每日基线和单实验对照,避免「每个实验都显著、整体却没进步」。
### 例子 14 · 复核意见挖掘——把人工打回变成下一单的规范
**问题**:人工复核的打回意见(`review_history` 里 `source=human` 的那些)是平台最直接的质量信号,
但它只被下一轮返工用一次。同一句「改动要用 AB 包裹」「别新建组件,用 TUX 的」在不同单上被不同的人
反复写,agent 每一单都从头犯一遍。
**调研(2026-11-03)**:6–11 月 1306 条人工意见 + 56 条 MR 摘录(517 单),模型逐条分类、人工抽查约
85% 准。只有约 22% 讲「代码该怎么写」,其余是操作指令、没修好、视觉数值、背景信息、要证据、需求变更。
在这 22% 里,按跨单 × 跨人排前五:AB 开关 87 条 / 69 单 / 29 人、最小改动 55 / 49 / 29、先复用
47 / 37 / 23、不硬编码 26 / 19 / 10、注释整洁 18 / 15 / 9。个人口味的信号很稀:真正集中在一个人
身上的只有两三类;能认出复核人的意见只有 23%(`ReviewNote.reviewer` 11-02 才有,流转 `actor`
09-30 才有),认得出的里 72% 是建单人自己打回。
**两个反直觉的结论**写进了设计:
- **AB 默认开还是关,不是个人口味。** 同一个人在不同单上两种都要求过。读原话能分开:要「止损 /
防止上线撤不回」的,合码后改动必须生效 → 默认开;要「做实验 / 和线上隔离」的 → 默认关。所以规范
按用途定默认值,归纳提示词要求同一人前后相反时不出个人候选、把反例列进 conflicts。
- **建单人不等于复核人。** 批量导入的单,建单人是导入的人。个人口味只认 `reviewer` 和打回那一刻的
流转 `actor`,认不出就不算进人数。
**怎么做**:
| 环节 | 谁 | 做什么 |
|---|---|---|
| 规范块 | 代码 | 前五条写进 `shared/src/code_conventions.ts`,原文由 `scripts/sync-code-conventions.ts` 抄进 bug.run / feature.run.first / feature.run.second(rsi-ship 只认纯字面量,不能插值);仓库约定用平台段 |
| 每晚打标签 | 回路进程 | `/api/rsi-loop/review-mining/pending` 拿拼好的提示词(`REVIEW_LABEL_PROMPT_TEMPLATE`),交回原始回答;控制面按 key 回表校验、现算归属,写 `review_note_labels` |
| 每周一归纳 | 回路进程 | 拿近 90 天的编码习惯标签和归纳提示词(`CONVENTION_CLUSTER_PROMPT_TEMPLATE`),候选交回;控制面**按证据 key 重算**单数 / 人数过门槛(全局 / 仓库级 ≥3 单 ≥2 人,个人本人 ≥3 条 ≥2 单),写 `convention_candidates` |
| 决定 | 管理员 | RSI 页「复核意见挖掘」逐条批准 / 驳回(驳回要写理由,下周模型会看到)。全局 / 仓库级批准后改 `code_conventions.ts` 落代码,再标「已上线」填提交号 |
| 个人口味 | 本人 | 个人候选批准后进「我的代码口味」(用户菜单),**本人确认**才生效;派单时插在规范块末尾,给这单的复核人、Meego 经办人和建单人(最多 3 人),和 spec 冲突时以 spec 为准 |
| 写法偏好 | 本人 | 同在「我的代码口味」,本人事先写的一段额外提示词:常用写法可叠加勾选(勾选 = 往文本框插一段原文,如「所有改动加 AB 开关」),也可自由改写,下发的就是原文(`shared/src/code_taste.ts`,存 `settings` 的 `codeTaste:<前缀>`)。和个人口味注入同一块、同一批人。为批量导入加:导入即派单,经办人还没复核过就按平台默认写完了,挖掘链赶不上 |
**真值**:只认人写下的意见。页面顶上的月度读数是「某一类习惯被打回的次数 / 当月人工意见总数」,
规则上线后对应 topic 应该降下来;不降,说明规则没起作用或措辞不对。按现在的量(每月约 300 条),
只有 AB / 最小改动 / 先复用这三个大簇每月够 10 条以上,小簇的变化分辨不出来——这是已知局限,
不是可以用更多模型判断补上的。规范块上线时没有留对照组:模板常量对所有单生效,月度读数是前后对比。
---
## 4. 代码与数据地图
| 层 | 文件 |
|---|---|
| 指标树 | `control-server/src/rsi_metrics.ts` |
| 快照 / 研究日志 / 策略 | `control-server/src/rsi_strategy_db.ts` |
| 失败模式规则引擎 | `control-server/src/rsi_analyst.ts` |
| prompt 正文 | `shared/src/{eval_prompt,run_prompt,verify_prompt,readable_prompt,…}.ts`(结构见 `shared/src/prompt_registry.ts`) |
| prompt 派发 / 实验候选 | `control-server/src/agent_prompt_db.ts`(`currentPrompt` = 代码正文;`agent_prompts` 只存回路候选) |
| 知识注入归因 | `control-server/src/kb_outcome.ts`(+ `kb_db.recordExecutionVerdict`) |
| 工具缺口 | `control-server/src/tool_gap.ts` × `satellite/src/tool_gap.ts` |
| 自动回路进程 | `scripts/rsi_loop/` |
| 自动实验契约 / 分组 / 离线与线上闸 | `shared/src/rsi_loop.ts` |
| 自动实验 API / 采集判定 / 页面 | `control-server/src/{routes_rsi_loop,rsi_loop_*}.ts` + `control-web/src/components/RsiLoop.tsx` |
| 原生执行会话接口 | `satellite/src/transcripts.ts` |
| API | `control-server/src/routes_rsi.ts`(`/api/rsi/*`) |
| 复核意见挖掘 | `shared/src/{review_mining,review_mining_prompt,code_conventions}.ts` + `control-server/src/review_mining.ts` + `scripts/rsi_loop/rsi_loop/review_mining.py` + `scripts/sync-code-conventions.ts` |
| 面板 | `control-web/src/components/{RsiPanel,RsiLoop,ReviewMining,CodeStyleModal}.tsx` |
| 定时任务 | `control-server/src/rsi_daily.ts` + `scripts/rsi-daily.sh`(北京时间每日 09:10) |
| 迁移 | `drizzle/0008_rsi.sql`;复核意见挖掘 `drizzle/0064_review_mining.sql` |
新增表:`rsi_metrics_daily` / `rsi_findings` / `rsi_strategies` / `agent_prompts` /
`agent_prompt_runs`(离线重放删除后不再写入,待迁移删表)/ `rsi_tool_gaps`;
新增列:`tasks.critic_verdict`。
`kb_injections.outcome` / `evaluated_at` 早在 `0002_flaky_sprite.sql` 就已建好、
一直没有任何代码写过,这次才真正被填上——**预留一个当时用不上的列,
比事后再加一次迁移便宜**。
每日任务只做确定性的五件事(归因扫尾 → 写快照 → 挖工具缺口 → 写规则引擎日志 →
刷新已生效策略的前后对比),**不写带判断的发现、不提提案**。
理由与 evidmon 相同:指标必须由机器定时写,否则"没人分析的那天"就会在时间序列上留洞。
---
## 5. 七条反自欺纪律(这套系统真正稀缺的部分)
下面第 1 条描述的是旧的 `/api/rsi` 人工策略链。自动实验回路另走
`/api/rsi-loop`:不等人工批准,但回路令牌改不了生产 prompt;候选只在实验机上复跑历史任务,
通过与否由控制面的固定离线闸和复跑判定决定,上不上线由人决定(见例子 13)。
1. **提出与批准分离**:分析任务持 cluster secret 可写发现与提案,**不能批准**;
批准要 SSO 身份。这不是防攻击,是**回路结构上无法自我批准**。
2. **评分者只读**:Fix-Critic 不许改代码、不许构建、不许碰设备。
3. **基线不可动**:`TestSpec.md` 只读,修正走派生的 `EffectiveSpec.md`。
4. **真值只认执行**:升格进知识库、给规格打分、给重放打分,
一律只用 `verdict='verified'` 的真机条件与工单终态,不用模型意见。
5. **决策时刻打戳**:`effectiveAt` 在批准瞬间写死,前后窗口不能事后重画。
6. **有偏数据不进 headline**:`task_transitions` 只取 `source='forward'`;
未上报的注入算缺数据不算零采纳;样本不足只给数字不给结论。
7. **生产 prompt 只经代码改**:回路令牌、提案、批准都碰不到生产 prompt,生产只跑
部署的那份代码;候选只在实验机上跑。(原第 7 条"自动执行必须带证据"守的是
批准即生效的 prompt 旋钮:08-21 关掉了证据闸,10-12 连同这个旋钮一起拆掉——
没有自动执行,也就不再需要那道闸。)
配套的两个急停:`KB_INJECT=0` 关知识注入;prompt 回滚 = revert 那次提交 + 部署。
---
## 6. 我们在哪,和明确的局限
**在哪。** L1 闭环(知识);prompt 由自动实验回路提出、实验机验证、人改代码上线;
L2 有提案面与判据版本化;
L3 有需求发现;L4 及以上是人在环。**L6 的雏形**是那几个"给尺子量尺子"的指标:
`riskCalibration`、`verdictPrecision`、`unreproClassifierAgreement`。
**局限,逐条摆明。**
- **没有衡量"spec 写得好不好"的打分。** 想覆盖它,需要一个与生成器**不同源**的
独立裁判 + 一份人工标注的 held-out 校准集。**这是下一步,不是现在的能力**。
- **失败分类是关键词规则**,会漏、会误判。它的准确率应当像 unrepro 分类器那样
被人工确认率度量——目前还没接。
- **`criticVerdict` 历史行靠解析我们自己的措辞回填**,且对"打回后又修好"的任务
偏向记成旁路(旧代码只在非 ROOT_CAUSE 时写 failureReason)。偏差方向是安全的
(高估旁路率),且随卫星发版自然消失。
- **样本稀疏**。修复任务一天几个,日粒度比率天天不可靠;
真正能读的是 7 天均值和月级趋势。
- **可读性报告 prompt 仍无客观 scorer**(例子 5 的缺口),
所以那条回路还停在"可实验"而非"可择优"。
- **feature / security 两条链路尚未接入**指标树。三套表是平行的,
接入需要各自定义真值——不是把 bug 的定义套过去就行。
---
## 7. GUI:只放正在进行的两条回路
入口在**看板 → 自我改进**(也可直接访问 `/rsi`;顶栏菜单里有快捷入口)。谁能看:实验室成员
_或_ 管理员;暂停回路、停止复跑要可解析的登录身份,回路令牌做不了这些。
页面有两个子页:「自动实验」(`RsiLoop.tsx`)和「复核意见挖掘」(`ReviewMining.tsx`,见例子 14:月度读数、候选规范逐条批准 / 驳回 / 标为已上线,每条可展开看支持和相反的原话)。自动实验按回路真实运转的顺序回答三个问题:
| 区块 | 回答什么 |
|---|---|
| 回路状态 | 回路开没开、暂停没有、各状态的实验数、实验机是哪两台、复跑判定规则 |
| 基线走势 | 系统整体有没有在变好:生产执行批次的业务指标(到达复现现场、证据校验、走不通时长)与过程指标每日均值,图上标出每次复跑的开始与结论(复跑任务不进基线) |
| 实验 | 每一次改动怎么想的、结果如何:问题总结 / 猜想 / 优化方式 / 结论,离线重放结果,真机复跑判定与配对表,候选改动或执行配置包,动作时间线 |
| 回路日志 | 回路进程每天跑了什么、发现了哪些问题模式 |
**2026-10 删掉了 8 月那版的七个子页**(概览 / 质量指标 / 失败模式 / 研究日志·策略 / Prompt
实验室 / 工具缺口 / 方法论)。删之前核对过生产数据:策略提案、Prompt 实验室的版本与离线重放
**一条都没有**;质量指标快照、规则引擎日志、工具缺口每天机械地写,但一半指标已知失真(Critic
自 08-19 关闭、知识归因七成是错链),没有人据此行动过;失败模式的关键词聚类已被回路里的审计
聚类取代。提示词库、离线重放与 prompt 旋钮的执行路径已于 10-12 连后端一起删除(例子 9);
每日快照(`rsi_daily.ts`)与其余 `/api/rsi/*` 接口**暂未下线**,例子 1–12 的设计记录仍留在
本文前几节供查。
## 8. 顺手修掉的两处生产安全隐患
建设过程中被测试暴露出来的,与 RSI 无关但值得记一笔:
1. **单测在连生产库。** `control-server/test/setup_env.ts` 用 `||=` 设 `DATABASE_URL`,
但 Bun 会自动加载仓库根的 `.env`——变量早就被设成生产了,`||=` 什么也没做。
注释里写的"结构上无法碰到生产"在它最该生效的那台机器上完全失效。
现在改成无条件赋值,想连真库必须显式设 `TEST_DATABASE_URL`。
2. **`db.ts` 一被 import 就写库。** 该文件模块顶层有 `await` 的 boot seeds,
其中包含一条 `UPDATE tasks SET watchers = …`。于是"导入 DAL 去测一个纯函数"
会连库并**写**它。现已改成显式的 `runBootSeeds()`,由服务入口调用。
副作用:整个测试套件从 33 秒(连生产超时)降到 3 秒。
---
## 9. 上线步骤(都是生产写操作,需人工执行)
```bash
# 1) 迁移预演(只读),确认无误后再 --commit
bun scripts/apply-migration.ts drizzle/0008_rsi.sql
bun scripts/apply-migration.ts drizzle/0008_rsi.sql --commit
# 2) 部署控制面 + 卫星(卫星必须发:critic_verdict 写入与 /sat/toolgap 端点都在卫星侧)
.claude/skills/streamline-deploy/deploy.sh
# 3) 补一次当日快照 + 首次工具缺口扫描
bun run control-server/src/rsi_daily.ts
# 4) 挂 cron(与 evidmon 同机制,自身按北京时间自锁)
# 0 * * * * /path/to/streamline/scripts/rsi-daily.sh
```
面板入口:**看板 → 自我改进**(实验室成员或管理员均可见),或直接访问 `/rsi`。
第一周该看什么:先看 `riskCalibration` 与 `specPredictionRate` 的分母够不够;
够了再看比率。指标树自己就是被度量对象——**尺子不准的时候,先修尺子**。