670 lines
46 KiB
Markdown
670 lines
46 KiB
Markdown
# Streamline 的递归式自我改进(RSI)
|
||
|
||
> 一份关于「一个 coding agent 平台如何用自己产出的数据改进自己的做事方法」的工程报告。
|
||
> 素材全部来自本仓库的真实实现:`control-server/src/{rsi_*,kb_*,evidmon_*}.ts`、
|
||
> `satellite/src/{runner,evaluator,tool_gap}.ts`、`shared/src/{eval_prompt,conditions}.ts`。
|
||
> 每个例子都给出**方法论 / 数据 / 指标**三段,指标全部可从生产库直接算出。
|
||
|
||
---
|
||
|
||
## 0. 一句话结论
|
||
|
||
Streamline 不只是「让 agent 干活」,它已经在**用干活产生的数据,改自己干活的方法**:
|
||
|
||
```
|
||
┌──────────────────── 人改代码、人决定上线(唯一的写权限)─────────┐
|
||
│ │
|
||
任务 ──► 评估器 ──► 执行器 ──► Fix-Critic ──► 人工复核 ──► 真机条件 / 驳回理由 / 会话日志
|
||
▲ │
|
||
│ ▼
|
||
prompt(代码常量)◄── 实验机复跑 ◄── 离线重放 ◄── 自动实验回路审计会话 ◄──┘
|
||
知识库注入 ◄── 归因 ◄── 真机条件与注入知识的一致性
|
||
工具库 ◄── 提案 ◄── 会话日志里的重复命令签名
|
||
```
|
||
|
||
关键不是「有没有自动改」,而是**改动是否可证伪**:这条回路上的每一次修改,
|
||
都必须先拿出一份用**执行结果**(而非另一个模型的意见)算出来的证据。
|
||
|
||
---
|
||
|
||
## 1. RSI 是什么
|
||
|
||
**Recursive Self-Improvement**:agent 不只完成任务,而是利用完成任务产生的经验、
|
||
代码与评测结果,改进自己的**做事方法**,再用改进后的自己去做下一轮任务。
|
||
|
||
```
|
||
任务 → Agent → 结果 → Evaluator → 改进算法 → 更强的 Agent → 任务 …
|
||
```
|
||
|
||
三个常见误解,先澄清:
|
||
|
||
**① RSI ≠ 自己训练自己。** 可被改的对象远不止权重:system prompt、workflow、
|
||
工具与技能、记忆/知识库、上下文管理、子 agent 分解、评测器本身。分级:
|
||
|
||
| Level | 改什么 | Streamline 现状 |
|
||
|---|---|---|
|
||
| L0 | 不改自己 | — |
|
||
| L1 | 改 Prompt / 记忆 | ✅ 复现知识库注入、evaluator prompt 版本库 + 热更 |
|
||
| L2 | 改 Workflow / 判据 | ✅ 证据判据版本化(evidmon)、失败模式 → 提案三段式 |
|
||
| L3 | 改 Skills / Tools | ✅ `record-evidence`;🆕 工具缺口自动挖掘 |
|
||
| L4 | 改 Agent Code / 架构 | ⚠️ 人在环,提案可提、代码需人写 |
|
||
| L5 | 改模型权重 | ❌ 不做(也不该在业务平台里做) |
|
||
| L6 | 改「改进自己的能力」 | ⚠️ 分类器准确率、判据精度、风险分校准已被度量,但优化仍靠人 |
|
||
|
||
**② 真正难的是 Evaluation,不是 Improvement。** 没有可靠的 evaluator,RSI 会退化成
|
||
**recursive self-delusion**:模型把评分标准也一起改松了,指标一路上涨,实际能力不变。
|
||
所以**评估器必须尽可能独立于被优化对象**。
|
||
|
||
**③ 为什么 coding agent 是 RSI 最早落地的领域**:代码天然有 evaluator——编译、测试、
|
||
真机验证、MR 是否被合入。Streamline 更进一步:它的执行器**在真机上确立事实**
|
||
(`run_conditions`),这是一份既不属于评估器、也不属于修复器的独立证词。
|
||
|
||
---
|
||
|
||
## 2. 已有实践(改造前就在跑的)
|
||
|
||
### 例子 1 · 复现知识库:把一次执行的经验变成下一次的先验
|
||
|
||
**方法论。** 传统做法是让一个模型读日志、事后"总结知识"。本仓库反过来:**执行器自己
|
||
写下它确立了什么**(`scope / subject / statement` 三元组),因为它刚做完那件事,比下游
|
||
读日志的模型更知道该怎么命名。于是"蒸馏"退化成一次**纯代码的归一化**——没有模型、
|
||
没有节点依赖、毫秒级(`kb_promote.ts` 顶部注释记录了模型版失败的三条代价)。
|
||
|
||
冲突仲裁独立成 DB-free 的四个函数(`kb_arbitration.ts`):key 归一化、命题等价、
|
||
证据加权、置信衰减。注入侧(`kb_retrieval.ts`)有五道闸:只取 `active`、置信下限、
|
||
Top-K、渲染长度硬上限、`KB_INJECT=0` 急停开关。
|
||
|
||
**数据。**
|
||
- `run_conditions`:每轮执行结束镜像回控制面(工作区会被清,DB 不会)
|
||
- `kb_claims` / `kb_evidence` / `kb_proposals` / `kb_injections`
|
||
- 只有 `verdict='verified'`(真机上真的做过)才能升格为 claim
|
||
|
||
**指标。**
|
||
- `kbAdoptionRate` 知识采纳率 = 评估器 `KB_USED` 引用过的注入 / 上报过引用的注入
|
||
- `kbHitRate` 知识命中率 = 真机证实 / (证实 + 推翻)← 本次新增,见例子 8
|
||
- claim 置信度 = Laplace 平滑的支持率 × 90 天半衰期衰减
|
||
|
||
**局限。** 检索是关键词 + 结构化过滤,同义表述("Story 相机" vs "故事拍摄页")召不回;
|
||
向量列 `kb_claims.embedding` 留着但故意没用——一次错误注入的代价是一次真机构建,
|
||
比一次漏召回贵得多。
|
||
|
||
---
|
||
|
||
### 例子 2 · Fix-Critic:把提出者和评分者拆开
|
||
|
||
**方法论。** 修复 agent 自称 `STATUS: FIXED` 后,**另一个只读的 claude pass** 独立复判,
|
||
四选一:`ROOT_CAUSE / SCENARIO_BANDAID / INTENT_MISMATCH / UNCERTAIN`,外加一个
|
||
0–100 的风险分。严格只读——不许改代码、不许构建、不许碰设备。判为旁路时**自动打回重修**
|
||
(有次数上限),把评审意见塞进下一批的 prompt。
|
||
|
||
这就是 RSI 架构里最关键的那条:**evaluator 必须独立于被优化对象**。它拦的是最典型的
|
||
自我认证——`if (场景) return;` 让坏现象消失,负向验证通过,但根因机制没动。
|
||
|
||
**数据。** `tasks.fixed_risk`(风险分)、`tasks.critic_verdict`(判定类别,本次新增列)、
|
||
`reviewHistory` 里 `source='critic'` 的反馈条目、`logs/critic-<round>.log` 全文。
|
||
|
||
**指标。**
|
||
- `rootCauseRate` 根因修复率、`bandaidRate` 场景旁路率(分母 = 有判定的批次)
|
||
- `riskCalibration` **风险分校准**:判"可信"(risk<40)的任务里,真的一次通过的比例
|
||
- `riskDiscrimination` 区分度 = 低风险组通过率 − 高风险组通过率
|
||
|
||
> 后两个是**给尺子量尺子**。区分度塌到 0 时,"可信度"标签就没有信息量了,
|
||
> 此时所有其它质量指标都是用弯尺量出来的——这是策略队列应当最优先修的东西。
|
||
|
||
---
|
||
|
||
### 例子 3 · EffectiveSpec:规格的自我修正,且保住基线
|
||
|
||
**方法论。** 执行期在真机上发现 TestSpec 写错了(`spec='contradicted'`),修正不是
|
||
就地改原文,而是折进一份**派生**文件 `EffectiveSpec.md`(引用块标出,优先于原文)。
|
||
`TestSpec.md` 永远只读。
|
||
|
||
为什么重要:`TestSpec.md` 同时是 Fix-Critic 的判据、和**评估器首轮质量的基线**。
|
||
如果允许执行期改它,被优化对象就把尺子一起改了——这是 RSI 里最隐蔽的自欺路径。
|
||
|
||
**数据。** `run_conditions.spec ∈ {predicted, contradicted, absent}` + `spec_said`
|
||
(当时 spec 是怎么说的)。这是评估器质量的**逐条判决书**。
|
||
|
||
**指标。**
|
||
- `specPredictionRate` 规格预测命中率 = predicted /(predicted+contradicted+absent)
|
||
- `specContradictionRate` 规格反证率
|
||
- 明细 `topSpecMisses`:按 subject 排的"最常猜错的条件"
|
||
|
||
---
|
||
|
||
### 例子 4 · 证据判据闭环(evidmon):agent 改的是"尺子"本身
|
||
|
||
**方法论。** 一条完整的 L2 回路,且是本仓库里最早跑通的:
|
||
机器定时写指标快照 → 每日分析任务读快照写「发现」→ 提「策略」→ **人工批准** →
|
||
判据新版本生效(无需发版,节点每次采集时拉取)→ 用批准时刻打戳的窗口做前后对比。
|
||
|
||
杀手锏是 `evidmon_replay.ts`:判据是纯函数、每次采集的 ffprobe 结果都存着,
|
||
所以候选判据能在**毫秒内在全量历史上重放**,批准前就知道哪些样本会翻盘。
|
||
不用等一个季度的 A/B。
|
||
|
||
**数据。** `evidence_capture_events`(含 probe 原始结果)、`evidmon_metrics_daily`、
|
||
`evidmon_findings` / `evidmon_strategies` / `evidmon_criteria`(判据版本表)。
|
||
|
||
**指标(L0 证据可采信率往下拆)。**
|
||
|
||
| key | 含义 |
|
||
|---|---|
|
||
| `evidenceAcceptanceRate` | 复核态任务里带着可采信证据的比例(北极星) |
|
||
| `coverage` / `keyEvidenceRate` | 有采集 / 有通过的演示视频 |
|
||
| `validity` / `videoValidity` | 采集通过率 |
|
||
| `durability` | 已镜像 TOS(明天还在) |
|
||
| **`verdictPrecision`** | **判坏的确实坏——同样是"给尺子量尺子"** |
|
||
| `retryRoi` / `retryRegression` | 重拍后判定改善 / 反而变差 |
|
||
|
||
---
|
||
|
||
### 例子 5 · 可读性报告 Prompt Lab:prompt 变成有版本的数据
|
||
|
||
**方法论。** 报告生成 prompt 的正文是代码常量(`shared/src/readable_prompt.ts`),
|
||
生产永远用它;实验室里可以存草稿版本(`readable_prompts`)、在任意历史目标上试跑、
|
||
存量批量重跑、并排对比。这是**"prompt 可被实验"的基础设施**。
|
||
(它曾有一个 active 指针决定生产用库里哪一行,新基线「插入但不自动激活」——代码基线
|
||
因此两次在库里躺了数周没人切,2026-10-12 拆掉,生产改为只认代码。)
|
||
|
||
配套的第一性原理写在 `docs/逼近AI实现报告可读性的极限.md` 里,其中最锋利的一条是
|
||
**pixel-blind 定律**:格式化者看不见像素,所以 **ImplReport 的质量就是可读性的天花板**——
|
||
要提升第 N 阶段,先去优化第 N−1 阶段。
|
||
|
||
**数据。** `readable_prompts` / `readable_report_runs` / `readable_sources`。
|
||
|
||
**指标。** 目前只有人眼评审 + 生成成功率。**这是已知缺口**:没有客观 scorer,
|
||
所以这条回路停在 L1 的"可实验",没进到"可自动择优"。
|
||
|
||
---
|
||
|
||
### 例子 6 · record-evidence:把 prompt 纪律变成工具约束(L3)
|
||
|
||
**方法论。** agent 反复手敲 `adb` / `xcrun` / `ffmpeg` 录屏,错法千奇百怪,
|
||
产出还只能靠文字描述取信。做法不是把 prompt 写得更长,而是**做一个工具**:
|
||
统一命令、自动 ffprobe 校验时长/画面/完整性、把每一次尝试(含失败)结构化写进
|
||
`evidence/manifest.jsonl`。
|
||
|
||
> **工程 know-how:工具化把「要求模型做对」变成「模型只能做对」。**
|
||
> prompt 微调的收益会迅速见顶,能力边界由工具决定。
|
||
|
||
**数据。** `evidence_capture_events`(就是 manifest 的入库形态)。
|
||
**指标。** 见例子 4 整棵树——这棵树本身就是工具化之后才有的东西。
|
||
|
||
---
|
||
|
||
### 例子 7 · 无法复现的产出化:连分类器都要被打分
|
||
|
||
**方法论。** `unreproducible` 不再是"平台耸肩",而是产出一份给报告人的结构化说明。
|
||
其中只有一个判断题——六种失败形状选一——用**规则分类器**做,**人工确认后**才发出。
|
||
`env_blocked`(我们自己的构建/设备/CLI 出问题)永远不可发送。
|
||
|
||
**数据。** `unrepro_digests`:`category`(人工确认的)与 `suggested_category`
|
||
(分类器猜的)**同时保留**。
|
||
|
||
**指标。** `unreproClassifierAgreement` = 分类器建议被人工采纳的比例。
|
||
这是一条 **L6 味道**的指标:它度量的不是产出质量,而是"我们做判断的能力"有多准。
|
||
|
||
---
|
||
|
||
## 3. 本次新建的四条回路
|
||
|
||
### 例子 8 · 修复质量指标树(`rsi_metrics.ts`)——先把尺子架起来
|
||
|
||
**方法论。** 改造前 `weekly_report.ts` 只统计**吞吐**(新增 / 派发 / 合入),
|
||
一个质量指标都没有。没有质量时间序列,任何 prompt 改动都是盲改:无法回答
|
||
"这次改动到底让它变强了没有"。于是照抄 evidmon 的形状,把北极星定为
|
||
**L0 一次交付通过率**,往下拆成九组解释性指标。
|
||
|
||
三个刻意的定义选择:
|
||
|
||
1. **交付 ≠ 裁决。** 停在 `manual_review` 的任务算"已交付"、不算"已裁决"——
|
||
否则只要不复核,通过率就会上涨。
|
||
2. **只有 `verified` 条件进规格分母。** `assumed` 是评估器自己的推断被回声,
|
||
拿它给规格打分等于自己批改自己的卷子。
|
||
3. **没上报引用的注入是缺数据,不是零采纳。** 否则某个节点部署落后,
|
||
知识采纳率就会莫名其妙下跌。
|
||
|
||
**数据。** `tasks`(status/attempts/fixed_risk/critic_verdict/reviewHistory/mr*) +
|
||
`task_transitions`(只取 `source='forward'`) + `run_conditions` + `kb_injections` +
|
||
`unrepro_digests`;快照落 `rsi_metrics_daily`(每日一行,机器定时写)。
|
||
|
||
**指标。**
|
||
|
||
| key | 定义 | 为什么要它 |
|
||
|---|---|---|
|
||
| `firstPassYield` | 无驳回即批准 / 已裁决 | 北极星 |
|
||
| `rootCauseRate` / `bandaidRate` | Critic 判定分布 | 修得对不对,而不只是修没修好 |
|
||
| `humanRejectRate` | 驳回次数 / 交付次数 | 人的返工负担 |
|
||
| **`riskCalibration` / `riskDiscrimination`** | 判"可信"的确实一次通过 / 低-高风险组差值 | **给尺子量尺子** |
|
||
| `specPredictionRate` / `specContradictionRate` | 真机对 TestSpec 的判决 | 评估器首轮质量 |
|
||
| `reworkRounds` / `multiRunRate` | 平均执行批次 / 多批次率 | 成本 |
|
||
| `mrMergeRate` | 已批准且有 MR 的合入率 | 终局验收 |
|
||
| `unreproRate` / `infoRequiredRate` | 无法复现 / 信息不足 | 把球踢回去的比例 |
|
||
| `kbAdoptionRate` / `kbHitRate` | 采纳率 / 命中率 | 知识回路健康度 |
|
||
|
||
样本量下限取 5(证据回路是 8):修复任务比证据采集稀疏得多,
|
||
低于门槛的比率照常显示,但**标记为"样本不足"**,前端置灰。
|
||
|
||
---
|
||
|
||
### 例子 9 · evaluator prompt 模板化 + 随任务下发
|
||
|
||
**方法论。**
|
||
|
||
1. **模板化**:`buildEvalPrompt` / `buildRegenPrompt` 的正文搬进
|
||
`shared/src/eval_prompt.ts`,变成 `{{占位符}}` 模板(之后执行期的 bug / feature /
|
||
security / prototype / 验证模板也照此搬进 `shared/src/run_prompt.ts` 等,全平台的
|
||
派发 stage 见 `control-server/src/agent_prompt_db.ts::PROMPT_STAGES`)。
|
||
迁移时用 24 组组合(语言 × remark × 知识注入 × regen)逐字节比对了新旧渲染结果,
|
||
**完全一致**——"只动管道、不动行为"是可核对的断言,不是口号。
|
||
(之后英文语言指令被**有意**加强了一版:中文模板 + 一句"请用英文"常导致中英混写,
|
||
新指令显式声明"不要跟随下方指令的语言"并保护下游按中文标题定位的结构标签。
|
||
这是这次改造里唯一一处刻意的行为变更。)
|
||
2. **随任务下发**:控制面在 claim 时把**自己编译进去的那份代码正文**随任务下发
|
||
(`protocol.ts::WithEvalPrompt` / `WithRunPrompt`,与 `kbContext` 同一条路),
|
||
卫星收到就用、收不到就用自己包里的。于是改 prompt = 改常量 + 部署,卫星包落后的
|
||
节点也跑新措辞。RSI 实验机复跑时,同一条路换成候选正文——这是"prompt 可实验"的基础。
|
||
|
||
**曾经的第 3 步:版本库 + 离线重放打分(已删除)。** 08-12 建过一套 `agent_prompts`
|
||
版本库 + 每个 stage 一个 active 指针(`settings.rsiActivePrompt:<stage>`)+ 只读的离线重放
|
||
(候选 eval prompt 在历史工单上重跑,按真机核实的条件召回 / 终态判定 / 结构纪律 / 不重犯
|
||
已知错误打分),批准一条 prompt 提案就移动指针。2026-10-12 核对生产:指针从未设过、提案
|
||
0 条、重放 0 次——生产一直跑的就是内置默认;它留下的唯一长期效果,是让每个读代码的人
|
||
以为"改默认不生效、要走提案"。于是整套拆掉:生产只认代码,版本历史就是 git。
|
||
打分思路里**不用 LLM 当裁判**那条原则由自动实验回路继承(例子 13):与被评对象同源的
|
||
裁判会让回路学会"讨好裁判"而不是"变强"。
|
||
|
||
---
|
||
|
||
### 例子 10 · 知识注入的效果归因(`kb_outcome.ts`)——把 L1 推向 L2
|
||
|
||
**方法论。** 改造前这条回路是**开口**的:`kb_injections` 记了注入什么、
|
||
评估器上报了采纳什么,然后就没了——`outcome` 与 `evaluated_at` 是两列**从没被写过**的
|
||
预留列。后果是:一条知识可以被注入五十次、每次都是错的,置信度**一分不掉**,
|
||
检索还在把它排在前面推给下一个人。
|
||
|
||
现在每轮执行结束(跟条件镜像同一个时机)做归因:把注入过的 claim 与该次执行
|
||
**真机核实**的条件配对,用与仲裁同一套等价判定比对命题:
|
||
一致 → 支持证据,不一致 → 反驳证据,
|
||
然后走 `recordExecutionVerdict` 重算置信度、必要时自动降级。
|
||
|
||
> **配对规则于 2026-08-21 改写,原因是它一次都没配上过。**
|
||
> 原规则是 `(scopeKey, subjectKey)` 严格相等——与仲裁同一套。那对仲裁是对的
|
||
> (比的是同一次运行里的行),对归因是错的:归因比的是几个月前另一台节点写的
|
||
> 自由文本。生产数据没有含糊之处——**457 次「运行期确实核实过东西」的注入、
|
||
> 49,483 对 claim × 条件,subject 精确命中 0 次**,历史上每一次归因都滚成
|
||
> `inconclusive`,执行期证据一条没写过。
|
||
>
|
||
> 新规则见 `kb_outcome.ts::matchStrength`:kind 必须相同、平台必须相容,
|
||
> 然后 subject 相似度与 **statement 相似度**两条锚各自都能成立配对——
|
||
> subject 是两次运行各自起的名字(3,595 个已核实条件的 subject 里,只有 9 个
|
||
> 在第二个任务里再出现过),statement 才是命题本身。
|
||
> 确认与推翻的门槛**不对称**(`MATCH_THRESHOLD` / `REFUTE_THRESHOLD`):
|
||
> 错误的推翻会废掉一条本来正确的知识,代价远高于漏掉一次。
|
||
>
|
||
> **但这不足以让回路活过来。** 把新规则回放到全部历史数据上,49,483 对里只配上
|
||
> 1 对。真正的约束不在匹配器,而在检索:注入进去的 10 条知识,跟这次执行真正
|
||
> 会碰到的东西基本无关。更根本的是,这个库今天几乎不复用——3,748 条 claim 里
|
||
> 只有 **7 条**拿到过一个以上任务的证据。匹配器是必要条件,不是充分条件。
|
||
|
||
三条纪律:
|
||
- **采纳 ≠ 正确**:所有被注入的 claim 都参与打分,不只被引用的那些。
|
||
否则一条被忽略的错误知识永远无法被推翻。
|
||
- **沉默 ≠ 同意**:本轮没触及的 claim **不给任何证据**(不是弱支持)。
|
||
否则置信度会变成"被检索过多少次"的度量。
|
||
- **只认 `verified`**:`assumed` 条件是评估器读了注入以后的推断,
|
||
拿它确认注入,等于让回路自造证据。
|
||
|
||
**数据。** `kb_injections.outcome ∈ {confirmed, contradicted, mixed, inconclusive}`
|
||
+ `evaluated_at`;`kb_evidence` 追加执行期证据(权重走既有 `evidenceWeight` 表)。
|
||
|
||
**指标。** `kbHitRate`(命中率)、注入归因分布(证实/推翻/混合/未触及/待判),
|
||
以及它对 claim `confidence` 的实际影响。
|
||
|
||
---
|
||
|
||
### 例子 11 · 失败模式聚类 → 提案三段式(`rsi_analyst.ts` + `rsi_strategy_db.ts`)
|
||
|
||
**方法论。** 显而易见的做法是"把一个月的驳回理由丢给 LLM,问它前三类失败是什么"。
|
||
读起来很漂亮,且**不可证伪**。两个具体问题让它不适合做这里的原语:
|
||
同样输入两次跑出不同分桶,于是"这类失败有没有变少"根本问不出来;而且是
|
||
**同一个模型家族在给自己的弱点命名**。
|
||
|
||
所以分类用**关键词规则表**:笨、稳定、可审计——每个桶里的任务都能列出来被人反驳,
|
||
准确率本身可度量(对照 `unreproClassifierAgreement` 的做法),改规则本身也是一条可提的策略。
|
||
LLM 仍然有活干,只是往后挪了一步:读**已经数好的**聚类和指标变化,写发现与提案。
|
||
|
||
三个信号源,全部已结构化、无需重新叙述:人工驳回理由(驳回必须写理由,所以文本一定存在)、
|
||
Fix-Critic 打回(自动拦下的失败,基于复核的统计永远看不到它们)、
|
||
真机推翻 TestSpec 的条件(评估器的锅,记在事实里)。
|
||
|
||
提案的生命周期沿用 evidmon 已经验证过的三段式,并保留它证明有效的两条铁律:
|
||
1. 没有人就出不了 `proposed`——分析任务用 cluster secret 认证,批准路由要 SSO 身份;
|
||
2. `effectiveAt` 在**批准那一刻**打戳,事后不能把前后窗口画得对自己有利。
|
||
|
||
所有旋钮(prompt / tool / workflow / capability)的提案都是**待办**:批准后由人写代码,
|
||
上线后标记生效、开始计前后对比。`prompt` 旋钮曾经**批准即执行**(写版本库 + 移动
|
||
active 指针),配过一道离线重放证据闸(08-21 因拦错了人关闭);2026-10-12 随提示词库
|
||
一起拆掉(见例子 9)——这期间生产上一条提案都没有过。
|
||
|
||
**数据。** `rsi_findings`(研究日志,附 `clusters` 快照)、`rsi_strategies`
|
||
(提案 + 决策 + 前后值)、`rsi_metrics_daily`。
|
||
|
||
**指标。** 每个聚类的 `count / tasks / share`(份额之和恒为 1,一条信号只进一个桶);
|
||
每条已生效策略的 before/after(按日快照取均值,两侧样本量随答案一起显示,
|
||
样本不足时**只给数字、不给结论**)。
|
||
|
||
---
|
||
|
||
### 例子 12 · 工具缺口挖掘(`tool_gap.ts` × 2)——L3 的需求发现
|
||
|
||
**方法论。** `record-evidence` 证明了工具化的收益,但**难的从来不是造工具,
|
||
而是发现哪一段咒语值得造工具**。现在让机器发现:各卫星扫自己最近的 session 日志,
|
||
提取所有 Bash 工具调用,把每条命令**归一化成签名**(去掉路径、id、hash、长数字、
|
||
引号串;短 flag 排序去重;取管道头部作为意图),控制面聚合全集群。
|
||
|
||
排名 `runs × (1 + failRate) × log(1 + tasks)`——三个信号缺一不可:
|
||
只跑过两次不值得造工具;每次都成功的命令当命令用挺好;
|
||
同一个任务里跑二十次是一个 agent 在重试循环里,不是模式(所以取 log 阻尼)。
|
||
|
||
**日志不出节点**:会话日志按 MB 计,只有聚合结果(签名、计数、一条样本)过网。
|
||
|
||
**数据。** `rsi_tool_gaps`(签名主键,`first_seen_at` 永不更新——
|
||
"这个缺口已经开了两个月"通常是最有说服力的数字)。
|
||
|
||
**指标。** 签名的 `runs / targets / failRate / score`,以及三态流转
|
||
`open → proposed → toolized`(或 `ignored`)。
|
||
|
||
---
|
||
|
||
### 例子 13 · 自动实验回路——把「发现 → 提案 → 验证」也接起来
|
||
|
||
**方法论。** 前十二个例子解决了指标、版本和判定,但仍要人读日志、想改法。
|
||
`scripts/rsi_loop/` 是每天跑在 temp-ios-01 上的独立回路进程,把缺的这一半补齐:
|
||
|
||
```
|
||
近 14 天原生会话
|
||
→ 同一堵墙 / 同族命令重复失败切片(读取类输出不算失败)
|
||
→ dead_end / decision_error / context_missing / not_failure 审计
|
||
→ 按失败调用浪费聚类,只选一个问题、只往现行 prompt 插入一段
|
||
→ 目标点 + 其它模式保留集配对重放
|
||
→ /api/rsi-loop/experiments(离线没过也记录)
|
||
```
|
||
|
||
审计模型只负责提出**可证伪的假设**。离线闸不问另一个模型「写得好不好」,只看第一步
|
||
动作形态:开始等 App 时有没有继续手写长 sleep / 轮询;撞过同一堵墙后有没有原样重试;
|
||
Frida 首次失败后有没有不诊断就再次注入。目标组最多 36 点、保留集 15 点,每个点的现行 / 候选
|
||
各跑三遍,以 `baseBad − candBad` 做 paired bootstrap,目标组至少 15 点(2026-10-03 用 24 点 × 2 遍
|
||
时区间半宽约 ±0.11,一个与现行打平的候选以下界 −0.104 被拦,故加到 36 点 × 3 遍,半宽约 ±0.08)。
|
||
离线的下一步是真机复跑,所以离线只拦**明显变差**的(目标组与保留集的 95% 区间下界都不低于
|
||
−0.10)——2026-10-02 完整试运行里现行版在「等 App 就绪」点上坏选择率只有 18.8%,要求离线显著
|
||
变好会让每个实验都停在这里。规则在 `shared/src/rsi_loop.ts`,回路进程改不了,控制面收到提交后
|
||
会重新验模板和离线结果。
|
||
|
||
**边界。** 原生会话含工单正文和测试账号,只落 temp-ios-01 的 `~/rsi_loop/data`,
|
||
默认 14 天删除;控制面只收到聚合模式、四段实验记录和数字。重放在第一次失败结果后截断,
|
||
有后台任务未结束、缺环境附件或上下文过大的点不用;所有工具调用由 hook 拒绝。候选新增行
|
||
按锚点插进历史会话第一条用户 prompt 的同一位置、不加标题(离线比生产更醒目会高估候选),
|
||
锚点定位不到的点两组都不跑;base / candidate 共用同一历史前缀。这仍是「续跑一步」的近似,
|
||
不能把它说成真机重演。重放报错率超过 20% 或目标点不足 15 个时不提交,避免把基础设施故障
|
||
记成「候选无效」。
|
||
|
||
**真机复跑(离线之后的第二道闸,也是实验的终点)。** 离线重放只看模型想做的第一步,判的是
|
||
**机制**;真机复跑判的是提案登记的**业务指标**。它从评估集挑 5 个同平台、跑完过的历史 bug,在
|
||
专用实验机上用现行 / 候选 prompt 各完整跑一遍(Android 在 `evaluator-android-01`,iOS 在
|
||
`temp-ios-01`,`RSI_LAB_NODES` 可改),同一来源两版交替先后以抵消设备上残留的上一次构建。
|
||
以「走不通时耗掉的时长」立项的实验,5 个来源里 3 个换成近 60 天生产上走不通(unreproducible /
|
||
fix_failed)的单——评估集里这种单每平台只有 2 个,只喂能修好的单测不出「早认死路」。判定是
|
||
**安全闸**而不是显著性检验(`judgeLab`):目标指标方向改善、agent 自报修好的个数不比现行少
|
||
(自报不是真值,只作底线)、到达复现现场的任务数不比现行少(防「跳过复现换提速」)、单次用时
|
||
不长于现行 20%,四条都满足才算通过;3 天到期不足 3 对跑完判不通过。每次复跑是一条
|
||
从评估集复制出来的 bug 任务,id 前缀 `rsi-lab-`,控制面与卫星据此关掉所有生产副作用:不推分支
|
||
不提 MR、不碰 Meego(不带单号,附件按来源任务只读代理)、不发卡片 / webhook、
|
||
不记状态流转、不注入 / 不升格知识、不出可读报告、不上传证据,并从看板、统计、周报、RSI 指标与
|
||
基线里排除;只保留会话摘要和节点本地的证据清单,指标从它们来。只有 `bug.run` 能复跑(评估集只有 bug)。
|
||
|
||
**运行时实验(执行配置包)。** 拆 160 批生产执行的时间:模型思考占 31–34%,是最大的一块;
|
||
每批写明的 sleep 合计 Android 7.6 分、iOS 4.0 分;构建只在 iOS 上是大头(约 25%,`airb` 拉产物)。
|
||
这些都不是「prompt 少一句话」能改的,所以回路还能提交 `kind=runtime` 的实验:两组同一版 prompt,
|
||
候选组多带一个**执行配置包**(`shared/src/executor_profile.ts`),派单时随任务下发,卫星按它改
|
||
CLI 参数或在 prompt 末尾追加一节。配置包是**封闭目录里的旋钮**,目前两个:`effort`(claude 的
|
||
`--effort`,对着模型思考那三分之一)和 `ui_settle`(`wait-for --settle`:画面指纹连续 1.2 秒不变
|
||
就返回。iOS 用 `catuse ui` 的界面大纲,约 0.24 秒、视频播放不影响;Android 在设备上给截屏中段算
|
||
md5,约 0.65 秒,视频流页面永远等不到稳定——把 10MB 原始截屏拉回来取样要 1.6 秒,比要替代的
|
||
`sleep 3` 还慢,已弃用。所以这个旋钮先在 iOS 上试)。不让配置包携带任意代码是有意的:量指标的尺子(证据清单、逐步计时、conditions)
|
||
和执行器在同一个卫星包里,能换代码就能改尺子。新旋钮由人写代码、正常部署,回路只决定开不开。
|
||
运行时实验不走离线重放(重放比不了换参数之后整批怎么跑),直接复跑;一个实验只能改 prompt
|
||
或拧旋钮之一,否则归不了因。复跑认领时记下节点的卫星包版本,同一来源两组版本不一致(中途
|
||
部署过)的配对不可比、不进判定。实验机上的复跑另开完整计时(命令 4000 字、绝对时刻、结果
|
||
末尾 300 字),两组都开,不影响比较。
|
||
|
||
**为什么没有线上灰度。** 最早的设计在离线之后还有一段线上灰度(同平台派单按任务哈希分一半
|
||
走候选、过程指标单侧显著就自动上线、上线后留旧版对照观察 14 天、变差自动 revert),
|
||
2026-10-05 整套下线,代码与页面一并删除。原因是对照不成立:新进来的生产任务之间差别太大
|
||
(平台、模块、难度、复现路径),两组新任务的差异主要是任务本身的,不是改动的;按平台划分后
|
||
Android 每天只有约 6 批,凑够能判的样本要几周。跑过的历史任务有现成的基线——同一个任务、
|
||
同一台实验机、新旧两版各跑一遍——差异才归得到改动上。所以生产派单永远走现行版本,
|
||
`rsi_experiment_assignments` 表保留但不再写入。
|
||
|
||
**自动执行权限。** 这条新回路和旧的 `/api/rsi` 人工提案系统不是同一条权限链:
|
||
它用独立 `RSI_LOOP_TOKEN` 只能读状态 / prompt / 会话、提交实验、写时间线,不能改生产 prompt。
|
||
真机复跑的判定由控制面的 `rsi_loop_judge.ts` 按纯函数规则完成;同一 stage 在 Android / iOS 上
|
||
各允许一个进行中的实验(实验机一台只跑一个实验的复跑)。复跑结论就是实验的终点,**不会自动改
|
||
生产 prompt**,上线由人决定。人在页面能暂停回路、停止复跑。
|
||
|
||
**批准上线:哪端复跑通过就只上哪端。** bug.run 一份模板两端共用,而实验只在实验机那一端复跑过。
|
||
所以模板支持平台段(`{{#ios}}…{{/ios}}`,`shared/src/prompt_platform.ts`),控制面派单时按任务
|
||
平台展开,卫星拿到的是普通正文。回路提交时声明策略范围:单端只在那一端复跑;双端两端各建一条
|
||
实验(同一 `group_id`,另一端实验机忙就排队),两端都跑完才决定——都通过两端一起上,只有一端
|
||
通过就只上那一端;另一端「判不了」(可比的对数不够)可以重跑那一端。单端通过后管理员也可以
|
||
「补另一端复跑」。只上一端时新增行包进该端的平台段,另一端展开后的正文必须逐字节不变,这由
|
||
`shared/src/rsi_ship.ts::planPromptShip` 每次校验;运行时旋钮上线改的是按端分开的
|
||
`PRODUCTION_PROFILE`,天然互不影响。批准 / 驳回只有管理员能做,**批准不改任何指针**:
|
||
它定下上线范围、校验补丁可用,改动由人用 `bun scripts/rsi-ship.ts <实验 id>` 在本地代码上
|
||
重算并写进常量,提交后照常部署;判定任务每轮按运行中的代码核对,带上了记「已上线」,之后
|
||
又没了记「已撤回」。实验的基线在提交时存成快照(按端展开),复跑的现行组跑快照而不是派单时
|
||
的代码,中途有改动上线也不会让配对失真;批准时代码改过就按锚点变基,找不到位置就是冲突,交给人。
|
||
规则在 `control-server/src/rsi_ship_service.ts`。
|
||
|
||
**数据与指标。** `rsi_experiments` / `rsi_experiment_events` 记录问题总结、猜想、方式、
|
||
离线结果、复跑判定和结论;`rsi_round_metrics` 每批存两类指标,定义在
|
||
`shared/src/rsi_loop.ts::LOOP_METRICS`。提案优先登记业务指标,过程指标只在找不到可信因果链时用:
|
||
|
||
| 业务指标 | 口径(真值来源) | 2026-10 生产基线(160 批) |
|
||
|---|---|---|
|
||
| `reach_s` 到达复现现场用时 | 这批开始到第一张校验通过的 `before-*` 证据(证据清单 `manifest.jsonl`,ffprobe 判 pass/warn);没到达按整批截尾;之前批次已到达的不计 | 中位 Android 30 分、iOS 44 分,约占整批一半 |
|
||
| `reach_miss` 未到达复现现场 | 一批结束仍无合格 `before-*`;任务级任一批到达即算到达 | 修好的批次 Android 17%、iOS 14% 未到达;复现不了的 12 批里 10 批未到达 |
|
||
| `evidence_fail` 证据校验失败 | 证据清单里判 fail 的截图 / 录屏次数(要重拍) | 每批 Android 0.6、iOS 1.0 次 |
|
||
| `dead_end_s` 走不通时耗掉的时长 | 没以 FIXED 收尾的批次的整批时长,修好记 0(早期失败识别) | — |
|
||
|
||
过程指标是 `ui_wait_s`、`blind_sleep_s`、`failed_calls`、`repeat_fail_calls`、`frida_fail_calls`、
|
||
`tool_calls`,加两条底线 `round_wall_s`、`round_failed`。
|
||
|
||
业务指标的真值不从计时文件取:计时文件里命令只留前 200 字,`record-evidence` 的 `--out`
|
||
有六成被截掉。证据按时间窗归批,不信条目里的 `round` 字段(那是 agent 填的尝试序号,36% 对不上
|
||
批次号)。成功率没有单列成目标:唯一现成的信号是 agent 自报 FIXED,按纪律它只当底线。到达类
|
||
目标有一条防刷分的确定性规则(`lintMetricGaming`,回路进程和控制面各验一遍):候选新增内容不许
|
||
涉及截图 / 录屏 / 证据命名——到达是按第一张合格证据量的,改快门时机会让指标变好而现场没变快。
|
||
页面同时画全舰队每日基线和单实验对照,避免「每个实验都显著、整体却没进步」。
|
||
|
||
### 例子 14 · 复核意见挖掘——把人工打回变成下一单的规范
|
||
|
||
**问题**:人工复核的打回意见(`review_history` 里 `source=human` 的那些)是平台最直接的质量信号,
|
||
但它只被下一轮返工用一次。同一句「改动要用 AB 包裹」「别新建组件,用 TUX 的」在不同单上被不同的人
|
||
反复写,agent 每一单都从头犯一遍。
|
||
|
||
**调研(2026-11-03)**:6–11 月 1306 条人工意见 + 56 条 MR 摘录(517 单),模型逐条分类、人工抽查约
|
||
85% 准。只有约 22% 讲「代码该怎么写」,其余是操作指令、没修好、视觉数值、背景信息、要证据、需求变更。
|
||
在这 22% 里,按跨单 × 跨人排前五:AB 开关 87 条 / 69 单 / 29 人、最小改动 55 / 49 / 29、先复用
|
||
47 / 37 / 23、不硬编码 26 / 19 / 10、注释整洁 18 / 15 / 9。个人口味的信号很稀:真正集中在一个人
|
||
身上的只有两三类;能认出复核人的意见只有 23%(`ReviewNote.reviewer` 11-02 才有,流转 `actor`
|
||
09-30 才有),认得出的里 72% 是建单人自己打回。
|
||
|
||
**两个反直觉的结论**写进了设计:
|
||
- **AB 默认开还是关,不是个人口味。** 同一个人在不同单上两种都要求过。读原话能分开:要「止损 /
|
||
防止上线撤不回」的,合码后改动必须生效 → 默认开;要「做实验 / 和线上隔离」的 → 默认关。所以规范
|
||
按用途定默认值,归纳提示词要求同一人前后相反时不出个人候选、把反例列进 conflicts。
|
||
- **建单人不等于复核人。** 批量导入的单,建单人是导入的人。个人口味只认 `reviewer` 和打回那一刻的
|
||
流转 `actor`,认不出就不算进人数。
|
||
|
||
**怎么做**:
|
||
|
||
| 环节 | 谁 | 做什么 |
|
||
|---|---|---|
|
||
| 规范块 | 代码 | 前五条写进 `shared/src/code_conventions.ts`,原文由 `scripts/sync-code-conventions.ts` 抄进 bug.run / feature.run.first / feature.run.second(rsi-ship 只认纯字面量,不能插值);仓库约定用平台段 |
|
||
| 每晚打标签 | 回路进程 | `/api/rsi-loop/review-mining/pending` 拿拼好的提示词(`REVIEW_LABEL_PROMPT_TEMPLATE`),交回原始回答;控制面按 key 回表校验、现算归属,写 `review_note_labels` |
|
||
| 每周一归纳 | 回路进程 | 拿近 90 天的编码习惯标签和归纳提示词(`CONVENTION_CLUSTER_PROMPT_TEMPLATE`),候选交回;控制面**按证据 key 重算**单数 / 人数过门槛(全局 / 仓库级 ≥3 单 ≥2 人,个人本人 ≥3 条 ≥2 单),写 `convention_candidates` |
|
||
| 决定 | 管理员 | RSI 页「复核意见挖掘」逐条批准 / 驳回(驳回要写理由,下周模型会看到)。全局 / 仓库级批准后改 `code_conventions.ts` 落代码,再标「已上线」填提交号 |
|
||
| 个人口味 | 本人 | 个人候选批准后进「我的代码口味」(用户菜单),**本人确认**才生效;派单时插在规范块末尾,给这单的复核人、Meego 经办人和建单人(最多 3 人),和 spec 冲突时以 spec 为准 |
|
||
| 写法偏好 | 本人 | 同在「我的代码口味」,本人事先写的一段额外提示词:常用写法可叠加勾选(勾选 = 往文本框插一段原文,如「所有改动加 AB 开关」),也可自由改写,下发的就是原文(`shared/src/code_taste.ts`,存 `settings` 的 `codeTaste:<前缀>`)。和个人口味注入同一块、同一批人。为批量导入加:导入即派单,经办人还没复核过就按平台默认写完了,挖掘链赶不上 |
|
||
|
||
**真值**:只认人写下的意见。页面顶上的月度读数是「某一类习惯被打回的次数 / 当月人工意见总数」,
|
||
规则上线后对应 topic 应该降下来;不降,说明规则没起作用或措辞不对。按现在的量(每月约 300 条),
|
||
只有 AB / 最小改动 / 先复用这三个大簇每月够 10 条以上,小簇的变化分辨不出来——这是已知局限,
|
||
不是可以用更多模型判断补上的。规范块上线时没有留对照组:模板常量对所有单生效,月度读数是前后对比。
|
||
|
||
---
|
||
|
||
## 4. 代码与数据地图
|
||
|
||
| 层 | 文件 |
|
||
|---|---|
|
||
| 指标树 | `control-server/src/rsi_metrics.ts` |
|
||
| 快照 / 研究日志 / 策略 | `control-server/src/rsi_strategy_db.ts` |
|
||
| 失败模式规则引擎 | `control-server/src/rsi_analyst.ts` |
|
||
| prompt 正文 | `shared/src/{eval_prompt,run_prompt,verify_prompt,readable_prompt,…}.ts`(结构见 `shared/src/prompt_registry.ts`) |
|
||
| prompt 派发 / 实验候选 | `control-server/src/agent_prompt_db.ts`(`currentPrompt` = 代码正文;`agent_prompts` 只存回路候选) |
|
||
| 知识注入归因 | `control-server/src/kb_outcome.ts`(+ `kb_db.recordExecutionVerdict`) |
|
||
| 工具缺口 | `control-server/src/tool_gap.ts` × `satellite/src/tool_gap.ts` |
|
||
| 自动回路进程 | `scripts/rsi_loop/` |
|
||
| 自动实验契约 / 分组 / 离线与线上闸 | `shared/src/rsi_loop.ts` |
|
||
| 自动实验 API / 采集判定 / 页面 | `control-server/src/{routes_rsi_loop,rsi_loop_*}.ts` + `control-web/src/components/RsiLoop.tsx` |
|
||
| 原生执行会话接口 | `satellite/src/transcripts.ts` |
|
||
| API | `control-server/src/routes_rsi.ts`(`/api/rsi/*`) |
|
||
| 复核意见挖掘 | `shared/src/{review_mining,review_mining_prompt,code_conventions}.ts` + `control-server/src/review_mining.ts` + `scripts/rsi_loop/rsi_loop/review_mining.py` + `scripts/sync-code-conventions.ts` |
|
||
| 面板 | `control-web/src/components/{RsiPanel,RsiLoop,ReviewMining,CodeStyleModal}.tsx` |
|
||
| 定时任务 | `control-server/src/rsi_daily.ts` + `scripts/rsi-daily.sh`(北京时间每日 09:10) |
|
||
| 迁移 | `drizzle/0008_rsi.sql`;复核意见挖掘 `drizzle/0064_review_mining.sql` |
|
||
|
||
新增表:`rsi_metrics_daily` / `rsi_findings` / `rsi_strategies` / `agent_prompts` /
|
||
`agent_prompt_runs`(离线重放删除后不再写入,待迁移删表)/ `rsi_tool_gaps`;
|
||
新增列:`tasks.critic_verdict`。
|
||
`kb_injections.outcome` / `evaluated_at` 早在 `0002_flaky_sprite.sql` 就已建好、
|
||
一直没有任何代码写过,这次才真正被填上——**预留一个当时用不上的列,
|
||
比事后再加一次迁移便宜**。
|
||
|
||
每日任务只做确定性的五件事(归因扫尾 → 写快照 → 挖工具缺口 → 写规则引擎日志 →
|
||
刷新已生效策略的前后对比),**不写带判断的发现、不提提案**。
|
||
理由与 evidmon 相同:指标必须由机器定时写,否则"没人分析的那天"就会在时间序列上留洞。
|
||
|
||
---
|
||
|
||
## 5. 七条反自欺纪律(这套系统真正稀缺的部分)
|
||
|
||
下面第 1 条描述的是旧的 `/api/rsi` 人工策略链。自动实验回路另走
|
||
`/api/rsi-loop`:不等人工批准,但回路令牌改不了生产 prompt;候选只在实验机上复跑历史任务,
|
||
通过与否由控制面的固定离线闸和复跑判定决定,上不上线由人决定(见例子 13)。
|
||
|
||
1. **提出与批准分离**:分析任务持 cluster secret 可写发现与提案,**不能批准**;
|
||
批准要 SSO 身份。这不是防攻击,是**回路结构上无法自我批准**。
|
||
2. **评分者只读**:Fix-Critic 不许改代码、不许构建、不许碰设备。
|
||
3. **基线不可动**:`TestSpec.md` 只读,修正走派生的 `EffectiveSpec.md`。
|
||
4. **真值只认执行**:升格进知识库、给规格打分、给重放打分,
|
||
一律只用 `verdict='verified'` 的真机条件与工单终态,不用模型意见。
|
||
5. **决策时刻打戳**:`effectiveAt` 在批准瞬间写死,前后窗口不能事后重画。
|
||
6. **有偏数据不进 headline**:`task_transitions` 只取 `source='forward'`;
|
||
未上报的注入算缺数据不算零采纳;样本不足只给数字不给结论。
|
||
7. **生产 prompt 只经代码改**:回路令牌、提案、批准都碰不到生产 prompt,生产只跑
|
||
部署的那份代码;候选只在实验机上跑。(原第 7 条"自动执行必须带证据"守的是
|
||
批准即生效的 prompt 旋钮:08-21 关掉了证据闸,10-12 连同这个旋钮一起拆掉——
|
||
没有自动执行,也就不再需要那道闸。)
|
||
|
||
配套的两个急停:`KB_INJECT=0` 关知识注入;prompt 回滚 = revert 那次提交 + 部署。
|
||
|
||
---
|
||
|
||
## 6. 我们在哪,和明确的局限
|
||
|
||
**在哪。** L1 闭环(知识);prompt 由自动实验回路提出、实验机验证、人改代码上线;
|
||
L2 有提案面与判据版本化;
|
||
L3 有需求发现;L4 及以上是人在环。**L6 的雏形**是那几个"给尺子量尺子"的指标:
|
||
`riskCalibration`、`verdictPrecision`、`unreproClassifierAgreement`。
|
||
|
||
**局限,逐条摆明。**
|
||
|
||
- **没有衡量"spec 写得好不好"的打分。** 想覆盖它,需要一个与生成器**不同源**的
|
||
独立裁判 + 一份人工标注的 held-out 校准集。**这是下一步,不是现在的能力**。
|
||
- **失败分类是关键词规则**,会漏、会误判。它的准确率应当像 unrepro 分类器那样
|
||
被人工确认率度量——目前还没接。
|
||
- **`criticVerdict` 历史行靠解析我们自己的措辞回填**,且对"打回后又修好"的任务
|
||
偏向记成旁路(旧代码只在非 ROOT_CAUSE 时写 failureReason)。偏差方向是安全的
|
||
(高估旁路率),且随卫星发版自然消失。
|
||
- **样本稀疏**。修复任务一天几个,日粒度比率天天不可靠;
|
||
真正能读的是 7 天均值和月级趋势。
|
||
- **可读性报告 prompt 仍无客观 scorer**(例子 5 的缺口),
|
||
所以那条回路还停在"可实验"而非"可择优"。
|
||
- **feature / security 两条链路尚未接入**指标树。三套表是平行的,
|
||
接入需要各自定义真值——不是把 bug 的定义套过去就行。
|
||
|
||
---
|
||
|
||
## 7. GUI:只放正在进行的两条回路
|
||
|
||
入口在**看板 → 自我改进**(也可直接访问 `/rsi`;顶栏菜单里有快捷入口)。谁能看:实验室成员
|
||
_或_ 管理员;暂停回路、停止复跑要可解析的登录身份,回路令牌做不了这些。
|
||
|
||
页面有两个子页:「自动实验」(`RsiLoop.tsx`)和「复核意见挖掘」(`ReviewMining.tsx`,见例子 14:月度读数、候选规范逐条批准 / 驳回 / 标为已上线,每条可展开看支持和相反的原话)。自动实验按回路真实运转的顺序回答三个问题:
|
||
|
||
| 区块 | 回答什么 |
|
||
|---|---|
|
||
| 回路状态 | 回路开没开、暂停没有、各状态的实验数、实验机是哪两台、复跑判定规则 |
|
||
| 基线走势 | 系统整体有没有在变好:生产执行批次的业务指标(到达复现现场、证据校验、走不通时长)与过程指标每日均值,图上标出每次复跑的开始与结论(复跑任务不进基线) |
|
||
| 实验 | 每一次改动怎么想的、结果如何:问题总结 / 猜想 / 优化方式 / 结论,离线重放结果,真机复跑判定与配对表,候选改动或执行配置包,动作时间线 |
|
||
| 回路日志 | 回路进程每天跑了什么、发现了哪些问题模式 |
|
||
|
||
**2026-10 删掉了 8 月那版的七个子页**(概览 / 质量指标 / 失败模式 / 研究日志·策略 / Prompt
|
||
实验室 / 工具缺口 / 方法论)。删之前核对过生产数据:策略提案、Prompt 实验室的版本与离线重放
|
||
**一条都没有**;质量指标快照、规则引擎日志、工具缺口每天机械地写,但一半指标已知失真(Critic
|
||
自 08-19 关闭、知识归因七成是错链),没有人据此行动过;失败模式的关键词聚类已被回路里的审计
|
||
聚类取代。提示词库、离线重放与 prompt 旋钮的执行路径已于 10-12 连后端一起删除(例子 9);
|
||
每日快照(`rsi_daily.ts`)与其余 `/api/rsi/*` 接口**暂未下线**,例子 1–12 的设计记录仍留在
|
||
本文前几节供查。
|
||
|
||
## 8. 顺手修掉的两处生产安全隐患
|
||
|
||
建设过程中被测试暴露出来的,与 RSI 无关但值得记一笔:
|
||
|
||
1. **单测在连生产库。** `control-server/test/setup_env.ts` 用 `||=` 设 `DATABASE_URL`,
|
||
但 Bun 会自动加载仓库根的 `.env`——变量早就被设成生产了,`||=` 什么也没做。
|
||
注释里写的"结构上无法碰到生产"在它最该生效的那台机器上完全失效。
|
||
现在改成无条件赋值,想连真库必须显式设 `TEST_DATABASE_URL`。
|
||
2. **`db.ts` 一被 import 就写库。** 该文件模块顶层有 `await` 的 boot seeds,
|
||
其中包含一条 `UPDATE tasks SET watchers = …`。于是"导入 DAL 去测一个纯函数"
|
||
会连库并**写**它。现已改成显式的 `runBootSeeds()`,由服务入口调用。
|
||
|
||
副作用:整个测试套件从 33 秒(连生产超时)降到 3 秒。
|
||
|
||
---
|
||
|
||
## 9. 上线步骤(都是生产写操作,需人工执行)
|
||
|
||
```bash
|
||
# 1) 迁移预演(只读),确认无误后再 --commit
|
||
bun scripts/apply-migration.ts drizzle/0008_rsi.sql
|
||
bun scripts/apply-migration.ts drizzle/0008_rsi.sql --commit
|
||
|
||
# 2) 部署控制面 + 卫星(卫星必须发:critic_verdict 写入与 /sat/toolgap 端点都在卫星侧)
|
||
.claude/skills/streamline-deploy/deploy.sh
|
||
|
||
# 3) 补一次当日快照 + 首次工具缺口扫描
|
||
bun run control-server/src/rsi_daily.ts
|
||
|
||
# 4) 挂 cron(与 evidmon 同机制,自身按北京时间自锁)
|
||
# 0 * * * * /path/to/streamline/scripts/rsi-daily.sh
|
||
```
|
||
|
||
面板入口:**看板 → 自我改进**(实验室成员或管理员均可见),或直接访问 `/rsi`。
|
||
|
||
第一周该看什么:先看 `riskCalibration` 与 `specPredictionRate` 的分母够不够;
|
||
够了再看比率。指标树自己就是被度量对象——**尺子不准的时候,先修尺子**。
|