Files
streamline/scripts/capture_prompt_fixtures.ts
2026-11-16 17:26:44 -08:00

46 lines
2.2 KiB
TypeScript

/**
* 抓取执行期提示词的「重构前」快照,作为模板化改造的逐字节基准。
*
* bun scripts/capture_prompt_fixtures.ts
*
* ## 为什么需要它
*
* P3 把 7 份硬编码提示词的正文抽成 `{{placeholder}}` 模板。这类改造唯一真正的风险
* 是**悄悄改了措辞** —— 少一个空格、把某个条件分支的边界挪了一格,提示词照样能跑,
* 只是行为变了,而且要几十次真机执行之后才可能被人察觉。
*
* 所以按 `shared/src/eval_prompt.ts` 的先例:先把现有构造函数在一组输入矩阵下的输出
* 原样存成夹具,改造完再断言新的渲染结果与夹具**逐字节相同**。夹具是在重构之前从
* 真实代码里抓的,不是照着新实现反推的 —— 这是它能当基准的唯一理由。
*
* 之后这些夹具继续充当回归基线:任何一次提示词措辞改动都会让测试变红,必须显式重新
* 抓取,于是「这次改了哪句话」在 code review 里是看得见的,而不是埋在一个 800 行的
* 模板字符串的 diff 里。
*
* ## 确定性
*
* 构造函数读若干环境变量(AI_WORKSPACE / BASE_BRANCH / MAX_ROUNDS / 工具命令行)。
* 这里把它们全部钉死,测试端用同一套值,否则夹具在另一台机器上就对不上。
*/
import { mkdirSync, writeFileSync } from "node:fs";
import path from "node:path";
import {
PROMPT_FIXTURE_ENV, PROMPT_FIXTURE_EXEC_PATH, promptFixtureCases, FIXTURE_DIR,
} from "../satellite/test/prompt_fixture_cases";
for (const [k, v] of Object.entries(PROMPT_FIXTURE_ENV)) process.env[k] = v;
Object.defineProperty(process, "execPath", { value: PROMPT_FIXTURE_EXEC_PATH, configurable: true });
const outDir = path.resolve(import.meta.dir, "..", FIXTURE_DIR);
mkdirSync(outDir, { recursive: true });
const cases = await promptFixtureCases();
let n = 0;
for (const c of cases) {
writeFileSync(path.join(outDir, `${c.name}.txt`), c.render(), "utf8");
n++;
}
console.log(`[fixtures] 已写入 ${n} 份到 ${outDir}`);
console.log(`[fixtures] 现在跑 \`bun test satellite/test/run_prompt_parity.test.ts\` 应当全绿(此刻是自己比自己)。`);
console.log(`[fixtures] 重构之后再跑一次 —— 那一次才有意义。`);