74 lines
3.4 KiB
TypeScript
74 lines
3.4 KiB
TypeScript
import { test, expect, describe, beforeEach } from "bun:test";
|
|
import {
|
|
noteNodeInfraFailure, clearNodeInfraFailures, infraGateRemainingMs,
|
|
nodeInfraFailureStreak, INFRA_GATE_THRESHOLD, INFRA_GATE_MS,
|
|
} from "../src/run_outcome";
|
|
|
|
/**
|
|
* 这道闸挡的是一个**按 item 计数挡不住**的失败。
|
|
*
|
|
* 生产实测(temp-ios-01,2026-08-20→22):机器被压住,claude 在 pty wrapper 的 120s 等待
|
|
* 里写不出第一条 transcript,于是这台机器上**每一次**执行都在 120 秒后零工具调用地失败。
|
|
* 三天里 21 次派发被烧掉 —— 全在这一台,另外五台一次都没有。
|
|
*
|
|
* 关键在于粒度:`noteInfraRetry` 是按 item 的,上限 2 次重试(= 3 批)。四个目标同时压在
|
|
* 这台机器上,就是 4 × 3 = 12 批白烧,而且每一批都会给一个真实任务的 attempts 加一。
|
|
* 其中两个目标因此拿到了它们没挣到的终态。**所以界限必须落在节点上,不是 item 上。**
|
|
*/
|
|
describe("节点级 infra 闸", () => {
|
|
beforeEach(() => {
|
|
clearNodeInfraFailures();
|
|
// 上一条用例可能把闸拉起来了;跑完 INFRA_GATE_MS 不现实,所以这里只保证
|
|
// streak 归零 —— 每条用例都自己断言它关心的那一面。
|
|
});
|
|
|
|
test("一次孤立的 infra 错误不该把健康节点踢出队列", () => {
|
|
clearNodeInfraFailures();
|
|
const r = noteNodeInfraFailure();
|
|
expect(r.streak).toBe(1);
|
|
expect(r.tripped).toBe(false);
|
|
});
|
|
|
|
test("中间只要成功过一次,streak 就归零 —— 交替失败不是坏节点", () => {
|
|
clearNodeInfraFailures();
|
|
noteNodeInfraFailure();
|
|
noteNodeInfraFailure();
|
|
clearNodeInfraFailures(); // 一次真实结论 = 这台机器能跑
|
|
expect(nodeInfraFailureStreak()).toBe(0);
|
|
expect(noteNodeInfraFailure().tripped).toBe(false);
|
|
});
|
|
|
|
test("连续到阈值才拉闸,并且只报一次 tripped", () => {
|
|
clearNodeInfraFailures();
|
|
let tripped = 0;
|
|
for (let i = 0; i < INFRA_GATE_THRESHOLD; i++) {
|
|
if (noteNodeInfraFailure().tripped) tripped++;
|
|
}
|
|
expect(tripped).toBe(1); // 只在跨过那一刻说一次
|
|
expect(infraGateRemainingMs()).toBeGreaterThan(0);
|
|
expect(infraGateRemainingMs()).toBeLessThanOrEqual(INFRA_GATE_MS);
|
|
// 闸开着的时候再失败不重复播报 —— 每跳一条等于没有一条。
|
|
expect(noteNodeInfraFailure().tripped).toBe(false);
|
|
});
|
|
|
|
test("阈值比 auth 闸高 —— auth 一次就够,infra 不行", () => {
|
|
// 登出的 CLI 100% 失败且不到一秒,一次就是证据;infra 错误可能是真的偶发
|
|
// (一次截断的日志、一个坏掉的网关连接),据此停掉一台好机器是过度反应。
|
|
expect(INFRA_GATE_THRESHOLD).toBeGreaterThan(1);
|
|
});
|
|
|
|
test("冷却比 auth 闸长 —— 回来得太早是更贵的那个方向", () => {
|
|
// 一次 infra 失败要烧掉 ~120 秒节点时间(auth 是亚秒),而被压住的机器
|
|
// 排空得比重新登录慢。
|
|
expect(INFRA_GATE_MS).toBeGreaterThanOrEqual(5 * 60_000);
|
|
});
|
|
|
|
test("按 item 的上限**替代不了**这道闸 —— 这就是它存在的算术", () => {
|
|
// 每个 item 允许 MAX_INFRA_RETRIES(2) 次重试,即 3 批。四个目标压在同一台
|
|
// 坏机器上 = 12 批白烧,而这道闸在第 3 批就停手。
|
|
const ITEMS = 4, PER_ITEM_ROUNDS = 3;
|
|
expect(ITEMS * PER_ITEM_ROUNDS).toBe(12);
|
|
expect(INFRA_GATE_THRESHOLD).toBeLessThan(ITEMS * PER_ITEM_ROUNDS);
|
|
});
|
|
});
|