[Issue 1] : [AI/ML] 실시간 음성 인식(STT) 최적화 및 VAD 통합

[Minjaaaaee]

• Title: [AI/ML] Implement Real-time STT with faster-whisper and VAD filtering

• Technical Specifications:

  • Engine: faster-whisper 1.2.1 (based on CTranslate2).

  • Optimization: int8 양자화(Quantization)를 적용하여 VRAM 사용량 최적화 및 추론 속도 개선.

  • VAD (Voice Activity Detection): Silero VAD 또는 Whisper VAD를 전처리 단계에 통합하여 무음 구간에서의 Hallucination(환각 현상) 차단.

  • Buffer Strategy: 오디오 스트림을 3~5초 단위의 Sliding Window 방식으로 처리하여 지연 시간(Latency) 1초 미만 달성.

[Minjaaaaee]

• High-Performance Plan:
  • RTX 5060 기준 Gemma2:27b, Llama3.1:8b 모델로 교체.
  • 서버 이동 시 (vLLM): vLLM 서버를 따로 판다면 ollama.chat 대신 openai 라이브러리를 써서 주소만 그쪽 서버 IP로 교체.
  • stt_service.py 코드 내에 WhisperModel 함수 안에서 "large-v3", device="cuda", compute_type="float16"로 교체.
  • 임베딩 모델 : 현재 nomic-embed-text는 가벼워서 굳이 바꿀 필요 없지만, 더 정교한 검색을 위해 BGE-M3 같은 다국어 특화 모델로 갈아타는 것도 고려중.

[m13v]

the sliding window approach with 3-5 second chunks is the right architecture for real-time STT. one refinement that improved our results: use a 0.5 second overlap between windows to prevent word splits at chunk boundaries. without the overlap, words straddling two chunks get truncated or duplicated.

for the Silero VAD integration, run it as a gate before inference, not just as a post-processing filter. this cuts compute by 60-70% during periods of ambient noise where no one is speaking. int8 quantization with CTranslate2 is solid, we saw about 2x speedup vs float16 with negligible accuracy loss on English. the 1-second latency target is achievable with that setup.

[Minjaaaaee]

@m13v Thanks for the detailed advice! The idea of using VAD as a gate to save 70% of compute is brilliant.

I have a follow-up question regarding the 0.5s overlap: When handling the overlapping segments in faster-whisper, do you recommend any specific strategy to merge the duplicated text results, or should I just let the LLM handle the redundant parts in the post-processing stage?

Also, for the int8 quantization, did you notice any significant accuracy drop in non-English languages? Since this project focuses on Korean lectures, I'm curious about its performance.

Thanks again for your help!

[Minjaaaaee]

주요 변경 사항

1. STT 서비스 (stt_service.py, main.py)

• 리소스 최적화: M1 맥북 환경을 고려하여 ThreadPoolExecutor 및 asyncio.Semaphore를 적용, 하드웨어 부하를 관리하고 WebSocket 핑 타임아웃 오류를 해결했습니다.
• 인식 정교화: 0.5초 오버랩(Overlap) 및 VAD 게이트 로직을 적용하여 문장 끊김 현상을 방지하고 인식 정확도를 높였습니다.
• 실시간성 강화: Supabase Realtime 채널 관리 로직을 개선하여 중복 구독 에러(ValueError)를 수정했습니다.

2. 번역 및 프롬프트 엔지니어링 (translation_service.py)

• 통합 프롬프트 적용: 영어의 기술적 규칙(중복 제거, 톤 유지)과 한국어 상세 지침(조사/감탄사 제거)을 결합하여 다국어 번역 퀄리티를 최적화했습니다.

3. RAG 서비스 (rag_service.py)

• 인자 불일치 수정: get_answer_with_memory 함수의 인자 개수 오류를 수정하고 target_lang 파라미터를 통합했습니다.
• 컨텍스트 강화: 강의 자막 데이터와 대화 히스토리를 결합한 지능형 답변 생성을 확인했습니다.