Files
2026-11-16 17:26:44 -08:00
..
2026-11-16 17:26:44 -08:00
2026-11-16 17:26:44 -08:00
2026-11-16 17:26:44 -08:00
2026-11-16 17:26:44 -08:00
2026-11-16 17:26:44 -08:00

自动 RSI 回路进程

每天执行一次:

  1. 从 /api/rsi-loop/nodes/:id/transcripts 同步近 14 天原生执行会话;
  2. 切出同一堵墙 / 同族命令重复失败至少两次的片段(读取类命令不算失败),以及所有「要开始等界面 / App 就绪」 的时刻(Android 认 dumpsys / uiautomator / pidof / actl,iOS 认 catuse);
  3. 最多审计 60 段,分为 dead_end / decision_error / context_missing / not_failure;
  4. 按浪费的失败调用数选一个问题模式,在现行 prompt 上只插入一段新纪律;
  5. 目标点和其它模式保留集分别做配对重放,每点 base / candidate 各跑三遍;
  6. 提交实验(离线未过也提交),并给已结束实验补 AI 结论和每日运行摘要;
  7. 还空着的实验机(该平台没有进行中的 bug.run 实验),各提一个旋钮实验:从 /state 的 runtimeKnobs 目录里挑该平台还没试过的取值(每个取值只试一次,跳过实验机现行的取值, 见 config.LAB_BASELINE),不走离线、直接真机复跑(rsi_loop/runtime.py)。
  8. 复核意见挖掘(rsi_loop/review_mining.py,与实验互不相干,回路暂停时照跑):给新的人工复核意见打标签; 每周一(北京时间)把近 90 天的编码习惯归纳成候选规范交给控制面过门槛,管理员在 RSI 页「复核意见挖掘」批准。 提示词由控制面下发,这里不改一个字;首次上线先补历史:./run.sh review-mining --days 180(每次最多 400 条, 多跑几次直到待标为 0),再 ./run.sh review-mining --cluster --no-label 立刻归纳一次。见 docs/rsi.md 例子 14。

离线通过的实验由控制面转入真机复跑:评估集里跑过的历史任务在实验机上现行 / 候选各跑一遍 (见 docs/rsi.md 例子 13),判定由控制面的判定任务执行,复跑结论就是实验终点,不自动改生产 prompt。线上灰度已于 2026-10-05 下线(新任务之间差别太大,比不出改动的效果)。所以本进程只提 bug.run、且该平台配了实验机的问题模式(从 /state 的 labNodes 读)。

temp-ios-01

代码只依赖系统 Python 3.9 标准库和 Node 24(actl MCP 用)。目录默认是 ~/rsi_loop,令牌默认读 ~/rsi_loop/token:

mkdir -p ~/rsi_loop
chmod 700 ~/rsi_loop
printf '%s' '<与控制面 RSI_LOOP_TOKEN 相同的值>' > ~/rsi_loop/token
chmod 600 ~/rsi_loop/token

export PYTHONPATH=/path/to/streamline/scripts/rsi_loop
export RSI_LOOP_HOME="$HOME/rsi_loop"
# 不设 RSI_LOOP_NODES = 自动发现控制面登记的全部节点;没开放会话接口的节点(没配令牌 /
# 卫星版本旧)返回 404,记进 sync.notEnabled 后跳过
export RSI_LOOP_ACTL="$HOME/rsi_loop/actl/lib/index.js"

先在图形桌面终端确认 ~/.local/bin/claude -p '只回答 OK' 能用,然后先试运行:

cd ~/rsi_loop/app
./run.sh dry-run

试运行对控制面只读:同步、切片、审计、提案、重放都真实执行,但提交实验和写时间线不发出去, 改记到 ~/rsi_loop/data/dry_posts.jsonl。看过要提交的实验(标题、四段记录、候选改动、离线结果) 没问题,再正式跑一轮 —— 正式跑一旦离线闸通过,控制面就在该问题所属平台的实验机上建复跑任务:

./run.sh once

确认 RSI 页面出现运行日志后,在同一个图形桌面终端常驻:

./run.sh daemon

默认每天本机时间 03:00 运行,可用 RSI_LOOP_DAILY_HOUR 调整。不要从普通 SSH 会话 启动:该机器的 Claude OAuth 在 SSH 环境里会过期。

常用参数:

RSI_LOOP_MAX_AUDITS=60       # 每轮最多审计片段
RSI_LOOP_TARGET_POINTS=36    # 目标类重放点
RSI_LOOP_HOLDOUT_POINTS=15   # 其它模式保留集
RSI_LOOP_SEEDS=3             # 每个点、每个版本跑三遍(两遍时区间太宽,打平的候选一半被误拦)
RSI_LOOP_WORKERS=4           # 并发 Claude 续跑数
RSI_LOOP_MAX_REPLAYS=320     # 单轮续跑硬上限;要 ≥ (目标点+保留集点)×2×遍数,否则先挤掉保留集

安全与可重算性

  • 原生会话、审计证据和重放原始输出只落在 ~/rsi_loop/data,目录权限 0700、 文件权限 0600,默认 14 天删除;发给控制面的日志只有聚合数字和模式名。
  • 重放只取模型第一步动作。所有工具由 PreToolUse 钩子拒绝,不执行设备、文件或网络工具。
  • 失败点截在工具结果之后;有未结束后台任务、缺环境附件或上下文过大的点不参与重放。
  • 候选新增行按提案给的锚点行插进历史会话第一条用户 prompt 的同一位置(锚点里的占位符按 通配匹配,不加任何标题),与生产渲染的位置一致;锚点在某个点上定位不到,这个点两组都不跑, 剔除数记在 offline.meta。base/candidate 使用同一历史前缀,判分只看封闭的动作形态,不用 LLM judge。
  • 保留集只取同一 stage、审计过且不是误报的失败点,加上同 stage 的等待点。
  • 不提交的情况:目标点不足 15 个(选题时先数,锚点剔除后再数一次),或重放报错率超过 20% (基础设施故障不能记成「候选无效」)。只写一条运行日志,并在本地记一次冷却。
  • 每次重放的逐条结果保存在 data/runs/<时间>/results.jsonl;95% 区间以固定种子对 决策点做 paired bootstrap,可离线重算。
  • 暂停时仍可同步、审计和补结论,但不会提交新实验;控制面也会以 409 再挡一次。

本地测试(不访问控制面、不调用 Claude):

cd scripts/rsi_loop
python3 -m unittest discover -s tests -v