Skip to content

Batch dedup membership queries to avoid ClickHouse over-long parameter error - #5

Merged
grenkoff merged 1 commit into
mainfrom
fix/dedup-id-batching
Jun 14, 2026
Merged

grenkoff merged 1 commit into
mainfrom
fix/dedup-id-batching

Conversation

@grenkoff

Copy link
Copy Markdown
Owner

Проблема

При bulk-загрузке (~16k раздач на чанк) дедуп слал hand_id IN {ids:Array(UUID)} как параметр HTTP-формы ClickHouse → Code: 1000 ... HTML Form Exception: Field value too long, и каждый чанк падал (в UI: «12 failed, +0 hands»).

Фикс

existing_hand_ids / existing_tournament_ids бьют список id на батчи по 1000 — несколько маленьких запросов вместо одного гигантского. Поведение и пустой случай покрыты тестом (test_queries.py).

Проверено

  • ruff + mypy --strict чисто, pytest 20/20.
  • Переобработка реальной загрузки 21 394 файлов на живом стеке: 12/12 чанков done, +181 408 раздач / 10 дублей пропущено, +10 697 турниров.

@grenkoff
grenkoff merged commit 3a1ad68 into main Jun 14, 2026
3 checks passed
@grenkoff
grenkoff deleted the fix/dedup-id-batching branch June 14, 2026 11:23
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant