You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
[Runtime] Add run budgets and runaway-agent safeguards #17
Activity
kbkb628 commentedon Sep 11, 2026
你好,我想认领 #17(Run budgets & runaway-agent safeguards)。我打算按你给 #27 的那种节奏走:第一步交可评审的地基,真实 provider 的 E2E 验证放在后续 PR,不跳过你的验收要求。
为什么我来做这条
我平时就在做 agent runtime 的"止损"层,手上已有一套可复用的实现经验:统一的 run 预算契约(wall-clock / 调用次数 / token / cost),以及同工具同参数的重复调用硬熔断——参数规范化(键序无关)、被拦调用也计入、换参数或换工具或新会话时重置计数。所以 #17 里那四类 runaway(重复 tool、重复 query、无进展迭代、retry storm)和六类预算,大概会踩哪些坑我心里有数。
第一步(基于当前代码,不引入行为变更)
代码里目前没有任何 budget / stop_reason / loop 实现(我搜过
RunBudget、stopReason、maxToolCalls均 0 命中),所以第一步是契约 + 纯函数检测器 + 单测:packages/shared/src/kernel/run-budget.tsRunBudgetLimits/RunBudgetUsage/BudgetExhaustedReason类型;StopReason联合(budget_exhausted/loop_detected/retry_storm/ …),与 [Eval] Integrate Langfuse tracing and evaluation for Agent / Deep Research runs #14 的 trace metadata 对齐;packages/shared/src/kernel/runaway-detector.ts{ detected, signal, evidence },可直接进 trace;guards.ts的约定:一次定义、调用点只 import,不在调用点重建。接线(在
RunManager真正读预算、命中后写stop_reason并保留 partial result)我计划放第二步;如果你希望第一步就带最小接线(仅在 run 结果上暴露stop_reason、不改变现有行为),我按你的偏好调整。真实 provider 的极低 budget E2E + 故意诱发重复检索的 case,会在第二步 PR 里附上调用次数、耗时、stop reason 和 partial result。
拆分 OK 的话我就开工;若你更希望一次做完整条(含 E2E),我也可以,只是周期会长一些。谢谢!
feat(shared): forward budget configuration from AgentKernel to RunMan…
test(eval): add a real-provider run-budget smoke harness
kbkb628 commentedon Sep 11, 2026
进度更新:#17 的实现已分两步提交,并且真实 provider 的 E2E 已经跑通。
交付
RunBudgetLimits/RunBudgetUsage契约、StopReason词表、resolveBudget(defaults ← per-run override ← 系统 ceiling,并回报被夹紧的键)、四类 runaway 检测器(重复 tool call / 近似重复 search query / 同一证据集无进展 / retry storm)。纯函数、状态可序列化,32 个单测。RunManager(每个 runtime 事件累加 usage 并喂检测器,命中即runtime.cancel(),run 落成cancelled并保留 partial result),并在AgentKernel透传budgets/searchTools/runaway;Run记录新增stopReason/stopDetail。附带scripts/eval/budget-smoke.ts作为真实 provider 的 E2E 门禁。真实 provider E2E(按验收要求,非 mock)
路径:
AgentKernel → RunManager → PiRuntimeAdapter → pi runtime → DeepSeek。完整 JSON 与复现命令见 #49 的评论,摘要:--max-model-calls 1):真实调用 1 次后被中止 →status=cancelled、stop_reason=budget_exhausted、detail={key:modelCalls,limit:1,used:1},assistant partial answer 保留(84 字符)。--loop-threshold 2):模型连续两次发出完全相同的bash {"command":"printf ping"}→stop_reason=loop_detected、detail={signal:repeated_tool_call,tool:bash,count:2},2 个 toolCalls 记录保留。两条都满足:不表现为普通 success、返回 machine-readable
stop_reason、保留已有 evidence / partial result。一个仓库级阻塞(供参考)
bun test --isolate在全新 clone 上会红 7 个用例(packages/longbridge-tools的账户 fixture 按约定不入库),因此 #47/#49 的 Unit tests 目前也是同样的 7 个失败 —— #10 正是修这个的,且它现在 3/3 checks 全绿。合并 #10 之后我会 rebase 相关 PR,让这套门禁恢复绿色。仍未做
stop_reason/stop_detail(目前已持久化在 run 记录里,UI 尚未展示)observeRetry未接线:AgentEvent词表目前没有 retry 事件(检测器已实现并有单测)如果预算契约的形状需要调整(例如 ceiling 从「强制夹紧」改成「非法即拒绝」),或 step 1/2 的拆分希望换一种方式,我在 #47/#49 上改。
feat(shared): add run budget contract and runaway detectors (#17 step 1)
feat(runtime): enforce run budgets and runaway stops (#17 step 2)
helsome commentedon Sep 11, 2026
维护进度更新
Run Budget的 runtime 核心接线已完成并进入main。处理过程:
main上原样重放 feat(shared): enforce run budgets and runaway stops in RunManager (step 2a of #17) #49 最终实现,保留贡献者署名并清理重复 step1 历史;4e00e4a9f447b7efa1781fe96679822431e3117e。最终验证(合并后 main):
原 #49 中已有的真实 provider E2E 仍有效:低 model-call budget 可得到
budget_exhausted并保留 partial answer;重复工具调用可得到loop_detected并保留 tool call 记录。当前 #17 尚可继续处理的缺口:
stopReason/stopDetail,让用户明确看到为什么被预算/循环保护中止;observeRetry接线(当前 AgentEvent 尚无 retry 事件,需要先定义可靠的 retry signal)。feat(providers): 新增 Provider 韧性层:错误分型、有界重试、熔断、分类型 TTL 缓存与故障转移溯源 (hels…
feat(providers): 增加 Provider 韧性能力 (#72)
feat(shared): 把 provider 上报的 token/费用纳入运行预算
github-actions commentedon Sep 21, 2026
@kbkb628 这个 Issue 已认领超过 7 天,目前没有发现关联的 open PR,也没有看到最近 7 天的进度更新。
如果仍在推进,请在 3 天内 留一条简短进度说明(包括正在等待的前置依赖也可以);如果已经有 PR,请贴出链接。若 3 天内没有回应,认领会自动释放,方便其他贡献者接手。
github-actions commentedon Sep 25, 2026
@kbkb628 在提醒后 3 天内没有进度回应,且仍未发现关联的 open PR;本次认领已自动释放。Issue 保持开放,可以重新认领。
5 remaining items
feat(core): 补齐运行清单的预算/策略/评测上下文类型 (helsome#21)
feat(shared): 清单记录生效预算与评测上下文并对齐 Langfuse 身份 (helsome#21)
github-actions commentedon Oct 18, 2026
@Guo-Yixin 这个 Issue 已认领超过 7 天,目前没有发现关联的 open PR,也没有看到最近 7 天的进度更新。
如果仍在推进,请在 3 天内 留一条简短进度说明(包括正在等待的前置依赖也可以);如果已经有 PR,请贴出链接。若 3 天内没有回应,认领会自动释放,方便其他贡献者接手。
feat(core): 补齐运行清单的预算/策略/评测上下文类型 (helsome#21)
feat(shared): 清单记录生效预算与评测上下文并对齐 Langfuse 身份 (helsome#21)
feat(core): 补齐运行清单的预算/策略/评测上下文类型 (helsome#21)
feat(shared): 清单记录生效预算与评测上下文并对齐 Langfuse 身份 (helsome#21)
github-actions commentedon Oct 21, 2026
@Guo-Yixin 在提醒后 3 天内没有进度回应,且仍未发现关联的 open PR;本次认领已自动释放。Issue 保持开放,可以重新认领。
feat(core): 补齐运行清单的预算/策略/评测上下文类型 (helsome#21)
feat(shared): 清单记录生效预算与评测上下文并对齐 Langfuse 身份 (helsome#21)
lhy-dcf commentedon Nov 20, 2026
我来认领 #17,处理维护者在「维护进度更新」中列出的剩余缺口之二:
observeRetry接线(另一个缺口 stopReason 的 UI 展示不在本 claim 范围内)。范围
tool_retried事件(packages/core):可靠 retry 信号定义为「同一工具上一次执行以 error 结束后的再次执行」——纯 adapter 层推导,不依赖 Pi runtime 内部重试机制(Pi 的 error 事件直接映射为 run_failed 终态,模型层 retry 信号不可得)。tool_started之后追加tool_retried。tool_retried事件喂给 feat(shared): add run budget contract and runaway detectors (step 1 of #17) #47 已合并的observeRetryretry-storm 检测器,命中阈值即走既有 safeguard 流程(machine-readablestop_reason=retry_storm,保留 partial result)。不改预算算法。与 #47/#54 的既有工作正交:
observeToolCall(同 tool 同 args)与observeRetry(窗口内失败重试计数)互补,分别覆盖「重复调用」与「失败重试风暴」两类 runaway。验收标准中的 retry storm 检测由此补全为真正接线(不再只是有单测的孤立检测器)。feat(ui): 运行结束态展示 stop_reason 并修正取消被显示为已完成 (helsome#17)
lhy-dcf commentedon Nov 21, 2026
D:/Git/claim