46 KiB
Streamline 的递归式自我改进(RSI)
一份关于「一个 coding agent 平台如何用自己产出的数据改进自己的做事方法」的工程报告。 素材全部来自本仓库的真实实现:
control-server/src/{rsi_*,kb_*,evidmon_*}.ts、satellite/src/{runner,evaluator,tool_gap}.ts、shared/src/{eval_prompt,conditions}.ts。 每个例子都给出方法论 / 数据 / 指标三段,指标全部可从生产库直接算出。
0. 一句话结论
Streamline 不只是「让 agent 干活」,它已经在用干活产生的数据,改自己干活的方法:
┌──────────────────── 人改代码、人决定上线(唯一的写权限)─────────┐
│ │
任务 ──► 评估器 ──► 执行器 ──► Fix-Critic ──► 人工复核 ──► 真机条件 / 驳回理由 / 会话日志
▲ │
│ ▼
prompt(代码常量)◄── 实验机复跑 ◄── 离线重放 ◄── 自动实验回路审计会话 ◄──┘
知识库注入 ◄── 归因 ◄── 真机条件与注入知识的一致性
工具库 ◄── 提案 ◄── 会话日志里的重复命令签名
关键不是「有没有自动改」,而是改动是否可证伪:这条回路上的每一次修改, 都必须先拿出一份用执行结果(而非另一个模型的意见)算出来的证据。
1. RSI 是什么
Recursive Self-Improvement:agent 不只完成任务,而是利用完成任务产生的经验、 代码与评测结果,改进自己的做事方法,再用改进后的自己去做下一轮任务。
任务 → Agent → 结果 → Evaluator → 改进算法 → 更强的 Agent → 任务 …
三个常见误解,先澄清:
① RSI ≠ 自己训练自己。 可被改的对象远不止权重:system prompt、workflow、 工具与技能、记忆/知识库、上下文管理、子 agent 分解、评测器本身。分级:
| Level | 改什么 | Streamline 现状 |
|---|---|---|
| L0 | 不改自己 | — |
| L1 | 改 Prompt / 记忆 | ✅ 复现知识库注入、evaluator prompt 版本库 + 热更 |
| L2 | 改 Workflow / 判据 | ✅ 证据判据版本化(evidmon)、失败模式 → 提案三段式 |
| L3 | 改 Skills / Tools | ✅ record-evidence;🆕 工具缺口自动挖掘 |
| L4 | 改 Agent Code / 架构 | ⚠️ 人在环,提案可提、代码需人写 |
| L5 | 改模型权重 | ❌ 不做(也不该在业务平台里做) |
| L6 | 改「改进自己的能力」 | ⚠️ 分类器准确率、判据精度、风险分校准已被度量,但优化仍靠人 |
② 真正难的是 Evaluation,不是 Improvement。 没有可靠的 evaluator,RSI 会退化成 recursive self-delusion:模型把评分标准也一起改松了,指标一路上涨,实际能力不变。 所以评估器必须尽可能独立于被优化对象。
③ 为什么 coding agent 是 RSI 最早落地的领域:代码天然有 evaluator——编译、测试、
真机验证、MR 是否被合入。Streamline 更进一步:它的执行器在真机上确立事实
(run_conditions),这是一份既不属于评估器、也不属于修复器的独立证词。
2. 已有实践(改造前就在跑的)
例子 1 · 复现知识库:把一次执行的经验变成下一次的先验
方法论。 传统做法是让一个模型读日志、事后"总结知识"。本仓库反过来:执行器自己
写下它确立了什么(scope / subject / statement 三元组),因为它刚做完那件事,比下游
读日志的模型更知道该怎么命名。于是"蒸馏"退化成一次纯代码的归一化——没有模型、
没有节点依赖、毫秒级(kb_promote.ts 顶部注释记录了模型版失败的三条代价)。
冲突仲裁独立成 DB-free 的四个函数(kb_arbitration.ts):key 归一化、命题等价、
证据加权、置信衰减。注入侧(kb_retrieval.ts)有五道闸:只取 active、置信下限、
Top-K、渲染长度硬上限、KB_INJECT=0 急停开关。
数据。
run_conditions:每轮执行结束镜像回控制面(工作区会被清,DB 不会)kb_claims/kb_evidence/kb_proposals/kb_injections- 只有
verdict='verified'(真机上真的做过)才能升格为 claim
指标。
kbAdoptionRate知识采纳率 = 评估器KB_USED引用过的注入 / 上报过引用的注入kbHitRate知识命中率 = 真机证实 / (证实 + 推翻)← 本次新增,见例子 8- claim 置信度 = Laplace 平滑的支持率 × 90 天半衰期衰减
局限。 检索是关键词 + 结构化过滤,同义表述("Story 相机" vs "故事拍摄页")召不回;
向量列 kb_claims.embedding 留着但故意没用——一次错误注入的代价是一次真机构建,
比一次漏召回贵得多。
例子 2 · Fix-Critic:把提出者和评分者拆开
方法论。 修复 agent 自称 STATUS: FIXED 后,另一个只读的 claude pass 独立复判,
四选一:ROOT_CAUSE / SCENARIO_BANDAID / INTENT_MISMATCH / UNCERTAIN,外加一个
0–100 的风险分。严格只读——不许改代码、不许构建、不许碰设备。判为旁路时自动打回重修
(有次数上限),把评审意见塞进下一批的 prompt。
这就是 RSI 架构里最关键的那条:evaluator 必须独立于被优化对象。它拦的是最典型的
自我认证——if (场景) return; 让坏现象消失,负向验证通过,但根因机制没动。
数据。 tasks.fixed_risk(风险分)、tasks.critic_verdict(判定类别,本次新增列)、
reviewHistory 里 source='critic' 的反馈条目、logs/critic-<round>.log 全文。
指标。
rootCauseRate根因修复率、bandaidRate场景旁路率(分母 = 有判定的批次)riskCalibration风险分校准:判"可信"(risk<40)的任务里,真的一次通过的比例riskDiscrimination区分度 = 低风险组通过率 − 高风险组通过率
后两个是给尺子量尺子。区分度塌到 0 时,"可信度"标签就没有信息量了, 此时所有其它质量指标都是用弯尺量出来的——这是策略队列应当最优先修的东西。
例子 3 · EffectiveSpec:规格的自我修正,且保住基线
方法论。 执行期在真机上发现 TestSpec 写错了(spec='contradicted'),修正不是
就地改原文,而是折进一份派生文件 EffectiveSpec.md(引用块标出,优先于原文)。
TestSpec.md 永远只读。
为什么重要:TestSpec.md 同时是 Fix-Critic 的判据、和评估器首轮质量的基线。
如果允许执行期改它,被优化对象就把尺子一起改了——这是 RSI 里最隐蔽的自欺路径。
数据。 run_conditions.spec ∈ {predicted, contradicted, absent} + spec_said
(当时 spec 是怎么说的)。这是评估器质量的逐条判决书。
指标。
specPredictionRate规格预测命中率 = predicted /(predicted+contradicted+absent)specContradictionRate规格反证率- 明细
topSpecMisses:按 subject 排的"最常猜错的条件"
例子 4 · 证据判据闭环(evidmon):agent 改的是"尺子"本身
方法论。 一条完整的 L2 回路,且是本仓库里最早跑通的: 机器定时写指标快照 → 每日分析任务读快照写「发现」→ 提「策略」→ 人工批准 → 判据新版本生效(无需发版,节点每次采集时拉取)→ 用批准时刻打戳的窗口做前后对比。
杀手锏是 evidmon_replay.ts:判据是纯函数、每次采集的 ffprobe 结果都存着,
所以候选判据能在毫秒内在全量历史上重放,批准前就知道哪些样本会翻盘。
不用等一个季度的 A/B。
数据。 evidence_capture_events(含 probe 原始结果)、evidmon_metrics_daily、
evidmon_findings / evidmon_strategies / evidmon_criteria(判据版本表)。
指标(L0 证据可采信率往下拆)。
| key | 含义 |
|---|---|
evidenceAcceptanceRate |
复核态任务里带着可采信证据的比例(北极星) |
coverage / keyEvidenceRate |
有采集 / 有通过的演示视频 |
validity / videoValidity |
采集通过率 |
durability |
已镜像 TOS(明天还在) |
verdictPrecision |
判坏的确实坏——同样是"给尺子量尺子" |
retryRoi / retryRegression |
重拍后判定改善 / 反而变差 |
例子 5 · 可读性报告 Prompt Lab:prompt 变成有版本的数据
方法论。 报告生成 prompt 的正文是代码常量(shared/src/readable_prompt.ts),
生产永远用它;实验室里可以存草稿版本(readable_prompts)、在任意历史目标上试跑、
存量批量重跑、并排对比。这是**"prompt 可被实验"的基础设施**。
(它曾有一个 active 指针决定生产用库里哪一行,新基线「插入但不自动激活」——代码基线
因此两次在库里躺了数周没人切,2026-10-12 拆掉,生产改为只认代码。)
配套的第一性原理写在 docs/逼近AI实现报告可读性的极限.md 里,其中最锋利的一条是
pixel-blind 定律:格式化者看不见像素,所以 ImplReport 的质量就是可读性的天花板——
要提升第 N 阶段,先去优化第 N−1 阶段。
数据。 readable_prompts / readable_report_runs / readable_sources。
指标。 目前只有人眼评审 + 生成成功率。这是已知缺口:没有客观 scorer, 所以这条回路停在 L1 的"可实验",没进到"可自动择优"。
例子 6 · record-evidence:把 prompt 纪律变成工具约束(L3)
方法论。 agent 反复手敲 adb / xcrun / ffmpeg 录屏,错法千奇百怪,
产出还只能靠文字描述取信。做法不是把 prompt 写得更长,而是做一个工具:
统一命令、自动 ffprobe 校验时长/画面/完整性、把每一次尝试(含失败)结构化写进
evidence/manifest.jsonl。
工程 know-how:工具化把「要求模型做对」变成「模型只能做对」。 prompt 微调的收益会迅速见顶,能力边界由工具决定。
数据。 evidence_capture_events(就是 manifest 的入库形态)。
指标。 见例子 4 整棵树——这棵树本身就是工具化之后才有的东西。
例子 7 · 无法复现的产出化:连分类器都要被打分
方法论。 unreproducible 不再是"平台耸肩",而是产出一份给报告人的结构化说明。
其中只有一个判断题——六种失败形状选一——用规则分类器做,人工确认后才发出。
env_blocked(我们自己的构建/设备/CLI 出问题)永远不可发送。
数据。 unrepro_digests:category(人工确认的)与 suggested_category
(分类器猜的)同时保留。
指标。 unreproClassifierAgreement = 分类器建议被人工采纳的比例。
这是一条 L6 味道的指标:它度量的不是产出质量,而是"我们做判断的能力"有多准。
3. 本次新建的四条回路
例子 8 · 修复质量指标树(rsi_metrics.ts)——先把尺子架起来
方法论。 改造前 weekly_report.ts 只统计吞吐(新增 / 派发 / 合入),
一个质量指标都没有。没有质量时间序列,任何 prompt 改动都是盲改:无法回答
"这次改动到底让它变强了没有"。于是照抄 evidmon 的形状,把北极星定为
L0 一次交付通过率,往下拆成九组解释性指标。
三个刻意的定义选择:
- 交付 ≠ 裁决。 停在
manual_review的任务算"已交付"、不算"已裁决"—— 否则只要不复核,通过率就会上涨。 - 只有
verified条件进规格分母。assumed是评估器自己的推断被回声, 拿它给规格打分等于自己批改自己的卷子。 - 没上报引用的注入是缺数据,不是零采纳。 否则某个节点部署落后, 知识采纳率就会莫名其妙下跌。
数据。 tasks(status/attempts/fixed_risk/critic_verdict/reviewHistory/mr*) +
task_transitions(只取 source='forward') + run_conditions + kb_injections +
unrepro_digests;快照落 rsi_metrics_daily(每日一行,机器定时写)。
指标。
| key | 定义 | 为什么要它 |
|---|---|---|
firstPassYield |
无驳回即批准 / 已裁决 | 北极星 |
rootCauseRate / bandaidRate |
Critic 判定分布 | 修得对不对,而不只是修没修好 |
humanRejectRate |
驳回次数 / 交付次数 | 人的返工负担 |
riskCalibration / riskDiscrimination |
判"可信"的确实一次通过 / 低-高风险组差值 | 给尺子量尺子 |
specPredictionRate / specContradictionRate |
真机对 TestSpec 的判决 | 评估器首轮质量 |
reworkRounds / multiRunRate |
平均执行批次 / 多批次率 | 成本 |
mrMergeRate |
已批准且有 MR 的合入率 | 终局验收 |
unreproRate / infoRequiredRate |
无法复现 / 信息不足 | 把球踢回去的比例 |
kbAdoptionRate / kbHitRate |
采纳率 / 命中率 | 知识回路健康度 |
样本量下限取 5(证据回路是 8):修复任务比证据采集稀疏得多, 低于门槛的比率照常显示,但标记为"样本不足",前端置灰。
例子 9 · evaluator prompt 模板化 + 随任务下发
方法论。
- 模板化:
buildEvalPrompt/buildRegenPrompt的正文搬进shared/src/eval_prompt.ts,变成{{占位符}}模板(之后执行期的 bug / feature / security / prototype / 验证模板也照此搬进shared/src/run_prompt.ts等,全平台的 派发 stage 见control-server/src/agent_prompt_db.ts::PROMPT_STAGES)。 迁移时用 24 组组合(语言 × remark × 知识注入 × regen)逐字节比对了新旧渲染结果, 完全一致——"只动管道、不动行为"是可核对的断言,不是口号。 (之后英文语言指令被有意加强了一版:中文模板 + 一句"请用英文"常导致中英混写, 新指令显式声明"不要跟随下方指令的语言"并保护下游按中文标题定位的结构标签。 这是这次改造里唯一一处刻意的行为变更。) - 随任务下发:控制面在 claim 时把自己编译进去的那份代码正文随任务下发
(
protocol.ts::WithEvalPrompt/WithRunPrompt,与kbContext同一条路), 卫星收到就用、收不到就用自己包里的。于是改 prompt = 改常量 + 部署,卫星包落后的 节点也跑新措辞。RSI 实验机复跑时,同一条路换成候选正文——这是"prompt 可实验"的基础。
曾经的第 3 步:版本库 + 离线重放打分(已删除)。 08-12 建过一套 agent_prompts
版本库 + 每个 stage 一个 active 指针(settings.rsiActivePrompt:<stage>)+ 只读的离线重放
(候选 eval prompt 在历史工单上重跑,按真机核实的条件召回 / 终态判定 / 结构纪律 / 不重犯
已知错误打分),批准一条 prompt 提案就移动指针。2026-10-12 核对生产:指针从未设过、提案
0 条、重放 0 次——生产一直跑的就是内置默认;它留下的唯一长期效果,是让每个读代码的人
以为"改默认不生效、要走提案"。于是整套拆掉:生产只认代码,版本历史就是 git。
打分思路里不用 LLM 当裁判那条原则由自动实验回路继承(例子 13):与被评对象同源的
裁判会让回路学会"讨好裁判"而不是"变强"。
例子 10 · 知识注入的效果归因(kb_outcome.ts)——把 L1 推向 L2
方法论。 改造前这条回路是开口的:kb_injections 记了注入什么、
评估器上报了采纳什么,然后就没了——outcome 与 evaluated_at 是两列从没被写过的
预留列。后果是:一条知识可以被注入五十次、每次都是错的,置信度一分不掉,
检索还在把它排在前面推给下一个人。
现在每轮执行结束(跟条件镜像同一个时机)做归因:把注入过的 claim 与该次执行
真机核实的条件配对,用与仲裁同一套等价判定比对命题:
一致 → 支持证据,不一致 → 反驳证据,
然后走 recordExecutionVerdict 重算置信度、必要时自动降级。
配对规则于 2026-08-21 改写,原因是它一次都没配上过。 原规则是
(scopeKey, subjectKey)严格相等——与仲裁同一套。那对仲裁是对的 (比的是同一次运行里的行),对归因是错的:归因比的是几个月前另一台节点写的 自由文本。生产数据没有含糊之处——457 次「运行期确实核实过东西」的注入、 49,483 对 claim × 条件,subject 精确命中 0 次,历史上每一次归因都滚成inconclusive,执行期证据一条没写过。新规则见
kb_outcome.ts::matchStrength:kind 必须相同、平台必须相容, 然后 subject 相似度与 statement 相似度两条锚各自都能成立配对—— subject 是两次运行各自起的名字(3,595 个已核实条件的 subject 里,只有 9 个 在第二个任务里再出现过),statement 才是命题本身。 确认与推翻的门槛不对称(MATCH_THRESHOLD/REFUTE_THRESHOLD): 错误的推翻会废掉一条本来正确的知识,代价远高于漏掉一次。但这不足以让回路活过来。 把新规则回放到全部历史数据上,49,483 对里只配上 1 对。真正的约束不在匹配器,而在检索:注入进去的 10 条知识,跟这次执行真正 会碰到的东西基本无关。更根本的是,这个库今天几乎不复用——3,748 条 claim 里 只有 7 条拿到过一个以上任务的证据。匹配器是必要条件,不是充分条件。
三条纪律:
- 采纳 ≠ 正确:所有被注入的 claim 都参与打分,不只被引用的那些。 否则一条被忽略的错误知识永远无法被推翻。
- 沉默 ≠ 同意:本轮没触及的 claim 不给任何证据(不是弱支持)。 否则置信度会变成"被检索过多少次"的度量。
- 只认
verified:assumed条件是评估器读了注入以后的推断, 拿它确认注入,等于让回路自造证据。
数据。 kb_injections.outcome ∈ {confirmed, contradicted, mixed, inconclusive}
evaluated_at;kb_evidence追加执行期证据(权重走既有evidenceWeight表)。
指标。 kbHitRate(命中率)、注入归因分布(证实/推翻/混合/未触及/待判),
以及它对 claim confidence 的实际影响。
例子 11 · 失败模式聚类 → 提案三段式(rsi_analyst.ts + rsi_strategy_db.ts)
方法论。 显而易见的做法是"把一个月的驳回理由丢给 LLM,问它前三类失败是什么"。 读起来很漂亮,且不可证伪。两个具体问题让它不适合做这里的原语: 同样输入两次跑出不同分桶,于是"这类失败有没有变少"根本问不出来;而且是 同一个模型家族在给自己的弱点命名。
所以分类用关键词规则表:笨、稳定、可审计——每个桶里的任务都能列出来被人反驳,
准确率本身可度量(对照 unreproClassifierAgreement 的做法),改规则本身也是一条可提的策略。
LLM 仍然有活干,只是往后挪了一步:读已经数好的聚类和指标变化,写发现与提案。
三个信号源,全部已结构化、无需重新叙述:人工驳回理由(驳回必须写理由,所以文本一定存在)、 Fix-Critic 打回(自动拦下的失败,基于复核的统计永远看不到它们)、 真机推翻 TestSpec 的条件(评估器的锅,记在事实里)。
提案的生命周期沿用 evidmon 已经验证过的三段式,并保留它证明有效的两条铁律:
- 没有人就出不了
proposed——分析任务用 cluster secret 认证,批准路由要 SSO 身份; effectiveAt在批准那一刻打戳,事后不能把前后窗口画得对自己有利。
所有旋钮(prompt / tool / workflow / capability)的提案都是待办:批准后由人写代码,
上线后标记生效、开始计前后对比。prompt 旋钮曾经批准即执行(写版本库 + 移动
active 指针),配过一道离线重放证据闸(08-21 因拦错了人关闭);2026-10-12 随提示词库
一起拆掉(见例子 9)——这期间生产上一条提案都没有过。
数据。 rsi_findings(研究日志,附 clusters 快照)、rsi_strategies
(提案 + 决策 + 前后值)、rsi_metrics_daily。
指标。 每个聚类的 count / tasks / share(份额之和恒为 1,一条信号只进一个桶);
每条已生效策略的 before/after(按日快照取均值,两侧样本量随答案一起显示,
样本不足时只给数字、不给结论)。
例子 12 · 工具缺口挖掘(tool_gap.ts × 2)——L3 的需求发现
方法论。 record-evidence 证明了工具化的收益,但难的从来不是造工具,
而是发现哪一段咒语值得造工具。现在让机器发现:各卫星扫自己最近的 session 日志,
提取所有 Bash 工具调用,把每条命令归一化成签名(去掉路径、id、hash、长数字、
引号串;短 flag 排序去重;取管道头部作为意图),控制面聚合全集群。
排名 runs × (1 + failRate) × log(1 + tasks)——三个信号缺一不可:
只跑过两次不值得造工具;每次都成功的命令当命令用挺好;
同一个任务里跑二十次是一个 agent 在重试循环里,不是模式(所以取 log 阻尼)。
日志不出节点:会话日志按 MB 计,只有聚合结果(签名、计数、一条样本)过网。
数据。 rsi_tool_gaps(签名主键,first_seen_at 永不更新——
"这个缺口已经开了两个月"通常是最有说服力的数字)。
指标。 签名的 runs / targets / failRate / score,以及三态流转
open → proposed → toolized(或 ignored)。
例子 13 · 自动实验回路——把「发现 → 提案 → 验证」也接起来
方法论。 前十二个例子解决了指标、版本和判定,但仍要人读日志、想改法。
scripts/rsi_loop/ 是每天跑在 temp-ios-01 上的独立回路进程,把缺的这一半补齐:
近 14 天原生会话
→ 同一堵墙 / 同族命令重复失败切片(读取类输出不算失败)
→ dead_end / decision_error / context_missing / not_failure 审计
→ 按失败调用浪费聚类,只选一个问题、只往现行 prompt 插入一段
→ 目标点 + 其它模式保留集配对重放
→ /api/rsi-loop/experiments(离线没过也记录)
审计模型只负责提出可证伪的假设。离线闸不问另一个模型「写得好不好」,只看第一步
动作形态:开始等 App 时有没有继续手写长 sleep / 轮询;撞过同一堵墙后有没有原样重试;
Frida 首次失败后有没有不诊断就再次注入。目标组最多 36 点、保留集 15 点,每个点的现行 / 候选
各跑三遍,以 baseBad − candBad 做 paired bootstrap,目标组至少 15 点(2026-10-03 用 24 点 × 2 遍
时区间半宽约 ±0.11,一个与现行打平的候选以下界 −0.104 被拦,故加到 36 点 × 3 遍,半宽约 ±0.08)。
离线的下一步是真机复跑,所以离线只拦明显变差的(目标组与保留集的 95% 区间下界都不低于
−0.10)——2026-10-02 完整试运行里现行版在「等 App 就绪」点上坏选择率只有 18.8%,要求离线显著
变好会让每个实验都停在这里。规则在 shared/src/rsi_loop.ts,回路进程改不了,控制面收到提交后
会重新验模板和离线结果。
边界。 原生会话含工单正文和测试账号,只落 temp-ios-01 的 ~/rsi_loop/data,
默认 14 天删除;控制面只收到聚合模式、四段实验记录和数字。重放在第一次失败结果后截断,
有后台任务未结束、缺环境附件或上下文过大的点不用;所有工具调用由 hook 拒绝。候选新增行
按锚点插进历史会话第一条用户 prompt 的同一位置、不加标题(离线比生产更醒目会高估候选),
锚点定位不到的点两组都不跑;base / candidate 共用同一历史前缀。这仍是「续跑一步」的近似,
不能把它说成真机重演。重放报错率超过 20% 或目标点不足 15 个时不提交,避免把基础设施故障
记成「候选无效」。
真机复跑(离线之后的第二道闸,也是实验的终点)。 离线重放只看模型想做的第一步,判的是
机制;真机复跑判的是提案登记的业务指标。它从评估集挑 5 个同平台、跑完过的历史 bug,在
专用实验机上用现行 / 候选 prompt 各完整跑一遍(Android 在 evaluator-android-01,iOS 在
temp-ios-01,RSI_LAB_NODES 可改),同一来源两版交替先后以抵消设备上残留的上一次构建。
以「走不通时耗掉的时长」立项的实验,5 个来源里 3 个换成近 60 天生产上走不通(unreproducible /
fix_failed)的单——评估集里这种单每平台只有 2 个,只喂能修好的单测不出「早认死路」。判定是
安全闸而不是显著性检验(judgeLab):目标指标方向改善、agent 自报修好的个数不比现行少
(自报不是真值,只作底线)、到达复现现场的任务数不比现行少(防「跳过复现换提速」)、单次用时
不长于现行 20%,四条都满足才算通过;3 天到期不足 3 对跑完判不通过。每次复跑是一条
从评估集复制出来的 bug 任务,id 前缀 rsi-lab-,控制面与卫星据此关掉所有生产副作用:不推分支
不提 MR、不碰 Meego(不带单号,附件按来源任务只读代理)、不发卡片 / webhook、
不记状态流转、不注入 / 不升格知识、不出可读报告、不上传证据,并从看板、统计、周报、RSI 指标与
基线里排除;只保留会话摘要和节点本地的证据清单,指标从它们来。只有 bug.run 能复跑(评估集只有 bug)。
运行时实验(执行配置包)。 拆 160 批生产执行的时间:模型思考占 31–34%,是最大的一块;
每批写明的 sleep 合计 Android 7.6 分、iOS 4.0 分;构建只在 iOS 上是大头(约 25%,airb 拉产物)。
这些都不是「prompt 少一句话」能改的,所以回路还能提交 kind=runtime 的实验:两组同一版 prompt,
候选组多带一个执行配置包(shared/src/executor_profile.ts),派单时随任务下发,卫星按它改
CLI 参数或在 prompt 末尾追加一节。配置包是封闭目录里的旋钮,目前两个:effort(claude 的
--effort,对着模型思考那三分之一)和 ui_settle(wait-for --settle:画面指纹连续 1.2 秒不变
就返回。iOS 用 catuse ui 的界面大纲,约 0.24 秒、视频播放不影响;Android 在设备上给截屏中段算
md5,约 0.65 秒,视频流页面永远等不到稳定——把 10MB 原始截屏拉回来取样要 1.6 秒,比要替代的
sleep 3 还慢,已弃用。所以这个旋钮先在 iOS 上试)。不让配置包携带任意代码是有意的:量指标的尺子(证据清单、逐步计时、conditions)
和执行器在同一个卫星包里,能换代码就能改尺子。新旋钮由人写代码、正常部署,回路只决定开不开。
运行时实验不走离线重放(重放比不了换参数之后整批怎么跑),直接复跑;一个实验只能改 prompt
或拧旋钮之一,否则归不了因。复跑认领时记下节点的卫星包版本,同一来源两组版本不一致(中途
部署过)的配对不可比、不进判定。实验机上的复跑另开完整计时(命令 4000 字、绝对时刻、结果
末尾 300 字),两组都开,不影响比较。
为什么没有线上灰度。 最早的设计在离线之后还有一段线上灰度(同平台派单按任务哈希分一半
走候选、过程指标单侧显著就自动上线、上线后留旧版对照观察 14 天、变差自动 revert),
2026-10-05 整套下线,代码与页面一并删除。原因是对照不成立:新进来的生产任务之间差别太大
(平台、模块、难度、复现路径),两组新任务的差异主要是任务本身的,不是改动的;按平台划分后
Android 每天只有约 6 批,凑够能判的样本要几周。跑过的历史任务有现成的基线——同一个任务、
同一台实验机、新旧两版各跑一遍——差异才归得到改动上。所以生产派单永远走现行版本,
rsi_experiment_assignments 表保留但不再写入。
自动执行权限。 这条新回路和旧的 /api/rsi 人工提案系统不是同一条权限链:
它用独立 RSI_LOOP_TOKEN 只能读状态 / prompt / 会话、提交实验、写时间线,不能改生产 prompt。
真机复跑的判定由控制面的 rsi_loop_judge.ts 按纯函数规则完成;同一 stage 在 Android / iOS 上
各允许一个进行中的实验(实验机一台只跑一个实验的复跑)。复跑结论就是实验的终点,不会自动改
生产 prompt,上线由人决定。人在页面能暂停回路、停止复跑。
批准上线:哪端复跑通过就只上哪端。 bug.run 一份模板两端共用,而实验只在实验机那一端复跑过。
所以模板支持平台段({{#ios}}…{{/ios}},shared/src/prompt_platform.ts),控制面派单时按任务
平台展开,卫星拿到的是普通正文。回路提交时声明策略范围:单端只在那一端复跑;双端两端各建一条
实验(同一 group_id,另一端实验机忙就排队),两端都跑完才决定——都通过两端一起上,只有一端
通过就只上那一端;另一端「判不了」(可比的对数不够)可以重跑那一端。单端通过后管理员也可以
「补另一端复跑」。只上一端时新增行包进该端的平台段,另一端展开后的正文必须逐字节不变,这由
shared/src/rsi_ship.ts::planPromptShip 每次校验;运行时旋钮上线改的是按端分开的
PRODUCTION_PROFILE,天然互不影响。批准 / 驳回只有管理员能做,批准不改任何指针:
它定下上线范围、校验补丁可用,改动由人用 bun scripts/rsi-ship.ts <实验 id> 在本地代码上
重算并写进常量,提交后照常部署;判定任务每轮按运行中的代码核对,带上了记「已上线」,之后
又没了记「已撤回」。实验的基线在提交时存成快照(按端展开),复跑的现行组跑快照而不是派单时
的代码,中途有改动上线也不会让配对失真;批准时代码改过就按锚点变基,找不到位置就是冲突,交给人。
规则在 control-server/src/rsi_ship_service.ts。
数据与指标。 rsi_experiments / rsi_experiment_events 记录问题总结、猜想、方式、
离线结果、复跑判定和结论;rsi_round_metrics 每批存两类指标,定义在
shared/src/rsi_loop.ts::LOOP_METRICS。提案优先登记业务指标,过程指标只在找不到可信因果链时用:
| 业务指标 | 口径(真值来源) | 2026-10 生产基线(160 批) |
|---|---|---|
reach_s 到达复现现场用时 |
这批开始到第一张校验通过的 before-* 证据(证据清单 manifest.jsonl,ffprobe 判 pass/warn);没到达按整批截尾;之前批次已到达的不计 |
中位 Android 30 分、iOS 44 分,约占整批一半 |
reach_miss 未到达复现现场 |
一批结束仍无合格 before-*;任务级任一批到达即算到达 |
修好的批次 Android 17%、iOS 14% 未到达;复现不了的 12 批里 10 批未到达 |
evidence_fail 证据校验失败 |
证据清单里判 fail 的截图 / 录屏次数(要重拍) | 每批 Android 0.6、iOS 1.0 次 |
dead_end_s 走不通时耗掉的时长 |
没以 FIXED 收尾的批次的整批时长,修好记 0(早期失败识别) | — |
过程指标是 ui_wait_s、blind_sleep_s、failed_calls、repeat_fail_calls、frida_fail_calls、
tool_calls,加两条底线 round_wall_s、round_failed。
业务指标的真值不从计时文件取:计时文件里命令只留前 200 字,record-evidence 的 --out
有六成被截掉。证据按时间窗归批,不信条目里的 round 字段(那是 agent 填的尝试序号,36% 对不上
批次号)。成功率没有单列成目标:唯一现成的信号是 agent 自报 FIXED,按纪律它只当底线。到达类
目标有一条防刷分的确定性规则(lintMetricGaming,回路进程和控制面各验一遍):候选新增内容不许
涉及截图 / 录屏 / 证据命名——到达是按第一张合格证据量的,改快门时机会让指标变好而现场没变快。
页面同时画全舰队每日基线和单实验对照,避免「每个实验都显著、整体却没进步」。
例子 14 · 复核意见挖掘——把人工打回变成下一单的规范
问题:人工复核的打回意见(review_history 里 source=human 的那些)是平台最直接的质量信号,
但它只被下一轮返工用一次。同一句「改动要用 AB 包裹」「别新建组件,用 TUX 的」在不同单上被不同的人
反复写,agent 每一单都从头犯一遍。
调研(2026-11-03):6–11 月 1306 条人工意见 + 56 条 MR 摘录(517 单),模型逐条分类、人工抽查约
85% 准。只有约 22% 讲「代码该怎么写」,其余是操作指令、没修好、视觉数值、背景信息、要证据、需求变更。
在这 22% 里,按跨单 × 跨人排前五:AB 开关 87 条 / 69 单 / 29 人、最小改动 55 / 49 / 29、先复用
47 / 37 / 23、不硬编码 26 / 19 / 10、注释整洁 18 / 15 / 9。个人口味的信号很稀:真正集中在一个人
身上的只有两三类;能认出复核人的意见只有 23%(ReviewNote.reviewer 11-02 才有,流转 actor
09-30 才有),认得出的里 72% 是建单人自己打回。
两个反直觉的结论写进了设计:
- AB 默认开还是关,不是个人口味。 同一个人在不同单上两种都要求过。读原话能分开:要「止损 / 防止上线撤不回」的,合码后改动必须生效 → 默认开;要「做实验 / 和线上隔离」的 → 默认关。所以规范 按用途定默认值,归纳提示词要求同一人前后相反时不出个人候选、把反例列进 conflicts。
- 建单人不等于复核人。 批量导入的单,建单人是导入的人。个人口味只认
reviewer和打回那一刻的 流转actor,认不出就不算进人数。
怎么做:
| 环节 | 谁 | 做什么 |
|---|---|---|
| 规范块 | 代码 | 前五条写进 shared/src/code_conventions.ts,原文由 scripts/sync-code-conventions.ts 抄进 bug.run / feature.run.first / feature.run.second(rsi-ship 只认纯字面量,不能插值);仓库约定用平台段 |
| 每晚打标签 | 回路进程 | /api/rsi-loop/review-mining/pending 拿拼好的提示词(REVIEW_LABEL_PROMPT_TEMPLATE),交回原始回答;控制面按 key 回表校验、现算归属,写 review_note_labels |
| 每周一归纳 | 回路进程 | 拿近 90 天的编码习惯标签和归纳提示词(CONVENTION_CLUSTER_PROMPT_TEMPLATE),候选交回;控制面按证据 key 重算单数 / 人数过门槛(全局 / 仓库级 ≥3 单 ≥2 人,个人本人 ≥3 条 ≥2 单),写 convention_candidates |
| 决定 | 管理员 | RSI 页「复核意见挖掘」逐条批准 / 驳回(驳回要写理由,下周模型会看到)。全局 / 仓库级批准后改 code_conventions.ts 落代码,再标「已上线」填提交号 |
| 个人口味 | 本人 | 个人候选批准后进「我的代码口味」(用户菜单),本人确认才生效;派单时插在规范块末尾,给这单的复核人、Meego 经办人和建单人(最多 3 人),和 spec 冲突时以 spec 为准 |
| 写法偏好 | 本人 | 同在「我的代码口味」,本人事先写的一段额外提示词:常用写法可叠加勾选(勾选 = 往文本框插一段原文,如「所有改动加 AB 开关」),也可自由改写,下发的就是原文(shared/src/code_taste.ts,存 settings 的 codeTaste:<前缀>)。和个人口味注入同一块、同一批人。为批量导入加:导入即派单,经办人还没复核过就按平台默认写完了,挖掘链赶不上 |
真值:只认人写下的意见。页面顶上的月度读数是「某一类习惯被打回的次数 / 当月人工意见总数」, 规则上线后对应 topic 应该降下来;不降,说明规则没起作用或措辞不对。按现在的量(每月约 300 条), 只有 AB / 最小改动 / 先复用这三个大簇每月够 10 条以上,小簇的变化分辨不出来——这是已知局限, 不是可以用更多模型判断补上的。规范块上线时没有留对照组:模板常量对所有单生效,月度读数是前后对比。
4. 代码与数据地图
| 层 | 文件 |
|---|---|
| 指标树 | control-server/src/rsi_metrics.ts |
| 快照 / 研究日志 / 策略 | control-server/src/rsi_strategy_db.ts |
| 失败模式规则引擎 | control-server/src/rsi_analyst.ts |
| prompt 正文 | shared/src/{eval_prompt,run_prompt,verify_prompt,readable_prompt,…}.ts(结构见 shared/src/prompt_registry.ts) |
| prompt 派发 / 实验候选 | control-server/src/agent_prompt_db.ts(currentPrompt = 代码正文;agent_prompts 只存回路候选) |
| 知识注入归因 | control-server/src/kb_outcome.ts(+ kb_db.recordExecutionVerdict) |
| 工具缺口 | control-server/src/tool_gap.ts × satellite/src/tool_gap.ts |
| 自动回路进程 | scripts/rsi_loop/ |
| 自动实验契约 / 分组 / 离线与线上闸 | shared/src/rsi_loop.ts |
| 自动实验 API / 采集判定 / 页面 | control-server/src/{routes_rsi_loop,rsi_loop_*}.ts + control-web/src/components/RsiLoop.tsx |
| 原生执行会话接口 | satellite/src/transcripts.ts |
| API | control-server/src/routes_rsi.ts(/api/rsi/*) |
| 复核意见挖掘 | shared/src/{review_mining,review_mining_prompt,code_conventions}.ts + control-server/src/review_mining.ts + scripts/rsi_loop/rsi_loop/review_mining.py + scripts/sync-code-conventions.ts |
| 面板 | control-web/src/components/{RsiPanel,RsiLoop,ReviewMining,CodeStyleModal}.tsx |
| 定时任务 | control-server/src/rsi_daily.ts + scripts/rsi-daily.sh(北京时间每日 09:10) |
| 迁移 | drizzle/0008_rsi.sql;复核意见挖掘 drizzle/0064_review_mining.sql |
新增表:rsi_metrics_daily / rsi_findings / rsi_strategies / agent_prompts /
agent_prompt_runs(离线重放删除后不再写入,待迁移删表)/ rsi_tool_gaps;
新增列:tasks.critic_verdict。
kb_injections.outcome / evaluated_at 早在 0002_flaky_sprite.sql 就已建好、
一直没有任何代码写过,这次才真正被填上——预留一个当时用不上的列,
比事后再加一次迁移便宜。
每日任务只做确定性的五件事(归因扫尾 → 写快照 → 挖工具缺口 → 写规则引擎日志 → 刷新已生效策略的前后对比),不写带判断的发现、不提提案。 理由与 evidmon 相同:指标必须由机器定时写,否则"没人分析的那天"就会在时间序列上留洞。
5. 七条反自欺纪律(这套系统真正稀缺的部分)
下面第 1 条描述的是旧的 /api/rsi 人工策略链。自动实验回路另走
/api/rsi-loop:不等人工批准,但回路令牌改不了生产 prompt;候选只在实验机上复跑历史任务,
通过与否由控制面的固定离线闸和复跑判定决定,上不上线由人决定(见例子 13)。
- 提出与批准分离:分析任务持 cluster secret 可写发现与提案,不能批准; 批准要 SSO 身份。这不是防攻击,是回路结构上无法自我批准。
- 评分者只读:Fix-Critic 不许改代码、不许构建、不许碰设备。
- 基线不可动:
TestSpec.md只读,修正走派生的EffectiveSpec.md。 - 真值只认执行:升格进知识库、给规格打分、给重放打分,
一律只用
verdict='verified'的真机条件与工单终态,不用模型意见。 - 决策时刻打戳:
effectiveAt在批准瞬间写死,前后窗口不能事后重画。 - 有偏数据不进 headline:
task_transitions只取source='forward'; 未上报的注入算缺数据不算零采纳;样本不足只给数字不给结论。 - 生产 prompt 只经代码改:回路令牌、提案、批准都碰不到生产 prompt,生产只跑 部署的那份代码;候选只在实验机上跑。(原第 7 条"自动执行必须带证据"守的是 批准即生效的 prompt 旋钮:08-21 关掉了证据闸,10-12 连同这个旋钮一起拆掉—— 没有自动执行,也就不再需要那道闸。)
配套的两个急停:KB_INJECT=0 关知识注入;prompt 回滚 = revert 那次提交 + 部署。
6. 我们在哪,和明确的局限
在哪。 L1 闭环(知识);prompt 由自动实验回路提出、实验机验证、人改代码上线;
L2 有提案面与判据版本化;
L3 有需求发现;L4 及以上是人在环。L6 的雏形是那几个"给尺子量尺子"的指标:
riskCalibration、verdictPrecision、unreproClassifierAgreement。
局限,逐条摆明。
- 没有衡量"spec 写得好不好"的打分。 想覆盖它,需要一个与生成器不同源的 独立裁判 + 一份人工标注的 held-out 校准集。这是下一步,不是现在的能力。
- 失败分类是关键词规则,会漏、会误判。它的准确率应当像 unrepro 分类器那样 被人工确认率度量——目前还没接。
criticVerdict历史行靠解析我们自己的措辞回填,且对"打回后又修好"的任务 偏向记成旁路(旧代码只在非 ROOT_CAUSE 时写 failureReason)。偏差方向是安全的 (高估旁路率),且随卫星发版自然消失。- 样本稀疏。修复任务一天几个,日粒度比率天天不可靠; 真正能读的是 7 天均值和月级趋势。
- 可读性报告 prompt 仍无客观 scorer(例子 5 的缺口), 所以那条回路还停在"可实验"而非"可择优"。
- feature / security 两条链路尚未接入指标树。三套表是平行的, 接入需要各自定义真值——不是把 bug 的定义套过去就行。
7. GUI:只放正在进行的两条回路
入口在看板 → 自我改进(也可直接访问 /rsi;顶栏菜单里有快捷入口)。谁能看:实验室成员
或 管理员;暂停回路、停止复跑要可解析的登录身份,回路令牌做不了这些。
页面有两个子页:「自动实验」(RsiLoop.tsx)和「复核意见挖掘」(ReviewMining.tsx,见例子 14:月度读数、候选规范逐条批准 / 驳回 / 标为已上线,每条可展开看支持和相反的原话)。自动实验按回路真实运转的顺序回答三个问题:
| 区块 | 回答什么 |
|---|---|
| 回路状态 | 回路开没开、暂停没有、各状态的实验数、实验机是哪两台、复跑判定规则 |
| 基线走势 | 系统整体有没有在变好:生产执行批次的业务指标(到达复现现场、证据校验、走不通时长)与过程指标每日均值,图上标出每次复跑的开始与结论(复跑任务不进基线) |
| 实验 | 每一次改动怎么想的、结果如何:问题总结 / 猜想 / 优化方式 / 结论,离线重放结果,真机复跑判定与配对表,候选改动或执行配置包,动作时间线 |
| 回路日志 | 回路进程每天跑了什么、发现了哪些问题模式 |
2026-10 删掉了 8 月那版的七个子页(概览 / 质量指标 / 失败模式 / 研究日志·策略 / Prompt
实验室 / 工具缺口 / 方法论)。删之前核对过生产数据:策略提案、Prompt 实验室的版本与离线重放
一条都没有;质量指标快照、规则引擎日志、工具缺口每天机械地写,但一半指标已知失真(Critic
自 08-19 关闭、知识归因七成是错链),没有人据此行动过;失败模式的关键词聚类已被回路里的审计
聚类取代。提示词库、离线重放与 prompt 旋钮的执行路径已于 10-12 连后端一起删除(例子 9);
每日快照(rsi_daily.ts)与其余 /api/rsi/* 接口暂未下线,例子 1–12 的设计记录仍留在
本文前几节供查。
8. 顺手修掉的两处生产安全隐患
建设过程中被测试暴露出来的,与 RSI 无关但值得记一笔:
- 单测在连生产库。
control-server/test/setup_env.ts用||=设DATABASE_URL, 但 Bun 会自动加载仓库根的.env——变量早就被设成生产了,||=什么也没做。 注释里写的"结构上无法碰到生产"在它最该生效的那台机器上完全失效。 现在改成无条件赋值,想连真库必须显式设TEST_DATABASE_URL。 db.ts一被 import 就写库。 该文件模块顶层有await的 boot seeds, 其中包含一条UPDATE tasks SET watchers = …。于是"导入 DAL 去测一个纯函数" 会连库并写它。现已改成显式的runBootSeeds(),由服务入口调用。
副作用:整个测试套件从 33 秒(连生产超时)降到 3 秒。
9. 上线步骤(都是生产写操作,需人工执行)
# 1) 迁移预演(只读),确认无误后再 --commit
bun scripts/apply-migration.ts drizzle/0008_rsi.sql
bun scripts/apply-migration.ts drizzle/0008_rsi.sql --commit
# 2) 部署控制面 + 卫星(卫星必须发:critic_verdict 写入与 /sat/toolgap 端点都在卫星侧)
.claude/skills/streamline-deploy/deploy.sh
# 3) 补一次当日快照 + 首次工具缺口扫描
bun run control-server/src/rsi_daily.ts
# 4) 挂 cron(与 evidmon 同机制,自身按北京时间自锁)
# 0 * * * * /path/to/streamline/scripts/rsi-daily.sh
面板入口:看板 → 自我改进(实验室成员或管理员均可见),或直接访问 /rsi。
第一周该看什么:先看 riskCalibration 与 specPredictionRate 的分母够不够;
够了再看比率。指标树自己就是被度量对象——尺子不准的时候,先修尺子。