Skip to content

初筛和抽取换成华东师大开放平台的模型 - #113

Merged
JunieXD merged 2 commits into
mainfrom
ecnu-models
Nov 15, 2026
Merged

JunieXD merged 2 commits into
mainfrom
ecnu-models

Conversation

@JunieXD

@JunieXD JunieXD commented Nov 15, 2026

Copy link
Copy Markdown
Contributor

关联

部署内测前的准备,见路线图 #2。维护者决定初筛和抽取都换成华东师大开放平台的模型。

改了什么

平台的 System One 接口和原来的一样。它的 Responses 接口会收下 JSON Schema,但不按 Schema 输出(实测回了一句话,不是 JSON);Chat Completions 的约束解码才生效。所以抽取、试抓和读图都改走 Chat Completions。

  • 初筛:改用 ecnu-decision,在标注集上重定门槛,从 0.1 改成 0.5
  • 抽取、试抓和读图:改用 ecnu-max,也就是 DeepSeek V4.1 Flash。客户端从 extraction/responses.py 换成 extraction/chat.py,图片改用 image_url 内容块
  • 抽取评测:改按平台的 credits 估算费用
  • 总体设计:§5 选型、§8.1 初筛、§8.5 复验表、§8.6 成本改成平台的说法;旧实验的记录保留

怎么验证的

  • crawler/ 的 ./check.sh 全部通过,351 个测试

  • 初筛:在 489 条标注上调用,免费,两种输入各 483 次,没有失败

    输入 零漏检最高门槛 无关过滤率 门槛 0.5 门槛 0.1
    仅标题 0.754 99.17% 97.78% 72.78%
    标题+栏目名 0.800 99.17% 97.78% 79.72%

    原来的 SemIf 在门槛 0.1 时,召回率 100%、无关过滤率 74.72%。新门槛 0.5 比零漏检最高门槛低 0.254,比取最高门槛只多放 5 条无关通知。门槛 0.9 起开始漏。

  • 抽取:标注集里的 50 条通知有 1 条已被源站删掉(404,它没有标注截止),用剩下的 49 条跑,低谷时段约 64 credits

    指标 DeepSeek 官方(11-09) 华东师大平台
    报名截止 27/28(96.43%) 26/27(96.30%)
    活动结束 18/24 14/23
    整条全对、失败、证据未找到 25/50、0、0/832 20/49、1、0/806
    缓存命中率、平均耗时 57.5%、2.58 秒 56.6%、8.80 秒

    那 1 次失败是平台的约束解码没守住 Schema 的 minItems,交了空的证据列表,被校验拦下了。线上遇到这种情况,这条通知这一轮算抽取失败,下一轮重试。

  • 读图:用真实代码读了一张生成的图片,原样读出,331 个输入 token

  • Codex 逐文件审过,报了 2 处,都已改:

    • 试抓有一个无效 XPath 的测试样本还留着旧的状态名,测试在别处就失败了,没测到 XPath。已改成每个样本都断言具体的失败原因
    • 评测报告的标题和 --off-peak 的说明还写着「官方」

影响

  • 抓取节点:SYSTEM_ONE_API_KEY 和 LLM_API_KEY 要换成平台的 key。用量里记的模型名是平台返回的 deepseek-flash 和 vllm-sr/d3-flash
  • 接口、MCP 工具、表结构、已有数据:无

维护者要换用学校开放平台的模型。平台的 System One 接口和原来的一样;它的 Responses 接口收下 JSON Schema 却不按它输出,Chat Completions 的约束解码才生效,所以抽取和读图改走 Chat Completions。

- 初筛用 ecnu-decision,在标注集上重定门槛:零漏检最高 0.754,取 0.5,无关过滤率从 74.72% 升到 97.78%
- 抽取、试抓和读图用 ecnu-max(就是 DeepSeek V4.1 Flash),客户端从 responses.py 换成 chat.py
- 抽取评测按平台的 credits 估算费用
- 总体设计记下初筛的结果和抽取在平台上的复验
@JunieXD
JunieXD merged commit abffc82 into main Nov 15, 2026
2 checks passed
@JunieXD
JunieXD deleted the ecnu-models branch November 15, 2026 11:22
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant