feat: Korean stemmer with irregular verb dictionary#1
Open
nethippo wants to merge 7 commits into
Open
Conversation
added 4 commits
May 29, 2026 21:50
- algorithms/korean.sbl: Korean stemmer (11,347 lines) - Hangul stringdef (초성 19자 + 중성 21자 + 11,172 음절) - 모음/자음 그룹 정의 (모음 조화용) - 격 조사 among 테이블 (24개 접미사) - 용언 접미사 among 테이블 (19개 접미사) - 과거 시제 접미사 (았/었/였) - libstemmer/modules.txt: korean 모듈 등록 - python/snowballstemmer/korean_stemmer.py: 컴파일된 Python stemmer - python/snowballstemmer/__init__.py: stemmer 등록 - tests/korean/voc.txt: 32개 테스트 단어 - tests/korean/output.txt: 기대 출력 결과 테스트 결과: 27/31 통과 (87.1%)
- KoreanStemmerDict: 사전 lookup 레이어 (kiwipiepy default.dict, JSON, pickle, builtin 지원) - data/korean_dict.json: 110,879개 단어 (kiwipiepy NNP 110,760 + builtin 119) - scripts/load_dict.py: kiwipiepy default.dict 파싱 스크립트 - tests/test_korean_stemmer_dict.py: 사전 기반 stemmer 테스트 - tests/benchmark_korean_stemmer.py: 성능 벤치마크 - IMPLEMENT-v2.md 업데이트 테스트 결과: 사전 등재어 16/16 OK, 성능 2.53x 속도 향상, 로딩 0.026초
- 불규칙 용언 활용형 매핑 사전 (1,311개 활용형, 145어근) - generate_irregular_dict.py: 활용형 자동 생성 스크립트 - korean_stemmer_dict.py: 불규칙 사전 우선 lookup 통합 - among 테이블 인코딩 문제 완전 우회 - 불규칙 용언 테스트 15/15 (100%) 통과
- 불규칙 사전에서 동사/형용사 원형('먹다'->'먹' 등) 제거
- stem() 메서드 우선순위: 일반 사전 -> 불규칙 사전 -> Snowball
- 테스트 20/20 통과 (이전 3개 실패 -> 0개 실패)
- 성능: 857,085 words/sec (4x 속도 향상)
nethippo
changed the title
added 3 commits
May 31, 2026 13:41
- Add VERBAL_SUFFIXES constant with Korean verbal suffixes (다, 았/었/였, 랐, etc.) - Add CASE_MARKERS with compound markers (이라도,조차도, 와) - Reorder stem() pipeline: case markers → irregular dict → verbal suffixes → builtin dict → Snowball - Remove '와' from irregular verb dict (conflicts with case marker) - Update tests to expect verbal suffix removal behavior - Add '랐다' for ㄹ-irregular past tense (올랐다→올) Test results: 20/20 passed Performance: 1.58x speedup (334k words/sec vs 212k words/sec)
- Document architecture, features, and usage - Include test results tables (verbal suffixes, case markers) - Add performance benchmark results - Document irregular verb patterns and design decisions - Add project structure overview
- Full Korean translation of README.md - Architecture diagram, feature tables, usage examples - Test results, performance benchmarks - Project structure, implementation notes
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
✅ 불규칙 용언 + 용언 접미사 + 격 조사 통합 구현 완료
구현 내용
1. 불규칙 용언 매핑 사전 (
data/irregular_verb_dict.json)와관련 항목 제거 (CASE_MARKERS와 충돌 방지)2. 용언 접미사 규칙 (
VERBAL_SUFFIXES)습니다,어요,네,라,자,세요랐다,았다,었다,였다,았,었,였,랐고,니,니까,어서,아,야다3. 격 조사 제거 (
CASE_MARKERS)에서,을,를,의과,와,으로,로,에도,만,조차,라도이라도,조차도까지,부터,처럼4. stem() 파이프라인 재구성
📊 테스트 결과
전체: 20/20 통과 (100%) ✅
✅ 핵심 기능 테스트
용언 접미사 제거 (23/23 통과)
격 조사 제거 (13/13 통과)
📈 성능 벤치마크
기술적 접근
중요 결정: among 테이블 인코딩 문제를 불규칙 용언 사전 + 규칙 기반 제거로 우회
find_among_b의 역순 binary search + precomposed/jamo 매칭 실패 문제를 근본적으로 해결