Skip to content

Assessment protocol: four red-team follow-ups (reproducible scripts, one pr-audit, FUNDING fix) - #14

Open
zhaoxinghua09-cell wants to merge 4 commits into
LGD-Eval:mainfrom
zhaoxinghua09-cell:red-team-rebase-20261115
Open

zhaoxinghua09-cell wants to merge 4 commits into
LGD-Eval:mainfrom
zhaoxinghua09-cell:red-team-rebase-20261115

Conversation

@zhaoxinghua09-cell

Copy link
Copy Markdown

Assessment protocol: four follow-ups from the red-team pass / 评估协议:红队走查后的四处收口

EN. This PR puts the four red-team follow-ups into evaluation-protocol so the protocol repo stops being the one place with no reviewable entry point. It does not change any evaluator behaviour, does not touch LICENSE, and does not publish anything.

# Commit What it fixes
1 8e8765a reviews/cosai-ws4-issue158/attack_vectors.py — keep the attack vectors reproducible after the review round
2 5b213a0 reviews/verified-transition-loop/make_variants.py — same for the transition-loop review
3 2ca0651 pr-audit.py ran a stale copy when invoked outside the repo — two implementations of one job; now one
4 071b5c5 .github/FUNDING.yml held Markdown, so GitHub could not read the funding entry

EN — how it was verified. 4 commits, 6 files changed, +147 −63. Every script above was run locally before committing; nothing here depends on machine-local state. No secrets, no customer data, no license text changes.

中文。 本 PR 把红队走查后的四处收口放进 evaluation-protocol,让协议仓不再是"没有对外评审入口"的那一个。不改任何评测器行为、不动 LICENSE、不发布任何东西。

# 提交 修的是什么
1 8e8765a reviews/cosai-ws4-issue158/attack_vectors.py——让攻击向量在评审轮之后仍可复现
2 5b213a0 reviews/verified-transition-loop/make_variants.py——过渡环评审同理
3 2ca0651 pr-audit.py 在仓外跑的是旧副本——同一件差事两个实现;现已合一
4 071b5c5 .github/FUNDING.yml 里放的是 Markdown,GitHub 读不到资助入口

中文——验证方式。 4 个提交、6 个文件、+147 −63。上面每个脚本提交前都在本机实跑过;不依赖任何本机残留配置。无密钥、无客户数据、不改许可证文本。


Reviewed-as: source-only change set. Merge is the maintainer's call, not the submitter's.

LGD-Eval and others added 4 commits November 15, 2026 03:32
`.github/scripts/pr-audit.py` 与 `welcome-self-test.py` 在五个仓里存在两个版本:
  619116C8(8209 B,lgd-gate / LGD-Eval / skill-audit)与 72B7B97E(6491 B,
  evaluation-protocol / evaluation-evidence)。

不是风格差异,是能力差异:
  - 旧版 T4 把 README/AGENTS/LICENSE/SECURITY 四个文件名写死在 os.path.exists(k),
    检查的是**当前工作目录**,不是仓库。实测:从仓库父目录调用,
    `SELF-TEST FAIL — T4 missing key files in checkout: ['README.md','AGENTS.md','LICENSE','SECURITY.md']`。
    也就是说,调用点换个目录,这支 CI 守卫就把"文件都在"报成"全缺"。
  - 旧版没有 _repo_root(),没有 --help,无 git 时的路径回退靠字符串裁剪,容易越界。
  - 正典版把 T4 改成合成目录里的逻辑自测(验"缺失检测"这件事本身),
    关键文件清单可用 PR_AUDIT_KEYFILES 按仓库覆盖。

处置:两仓整文件取正典版。复测:仓内 cwd 与父目录 cwd 双向 SELF-TEST PASS,
脚本哈希统一为 619116C8。

这是"同一件事两处实现"的第五次命中(等级/规则表/引擎副本/CLI 与库/CI 脚本)。
判断类脚本尤其不能分叉:它不报警的时候,没人会去怀疑它。
.github/FUNDING.yml 是 GitHub 唯一会读的资助配置位,只认键值(github / patreon / custom …)。
本仓那份是 871 B 的 markdown 说明(## 资助方式、- **GitHub Sponsors**),
YAML 在 "> " 引用块处直接解析失败——资助按钮从来不会出现,而五个仓里只有 lgd-gate 是对的(16 B)。

处置:根目录说明改名 FUNDING.md(它本来就是 markdown);.github/FUNDING.yml 改为 github: LGD-Eval。
另按 dependabot 生态对齐:本仓有 package.json 却只开 github-actions,补 npm。
(skill-audit 同类问题:有 pyproject.toml 缺 pip。)

由 lgd-gate 的 tests/test_ci_config_shapes.py 跨仓守卫覆盖,markdown 塞回去即红。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants