로컬 LLM 세팅

로컬 LLM이란?

로컬 LLM(Local Large Language Model)은 클라우드 서버가 아닌 자신의 컴퓨터에서 직접 실행하는 대규모 언어 모델을 말한다. ChatGPT나 Claude 같은 서비스는 인터넷을 통해 외부 서버에 요청을 보내지만, 로컬 LLM은 내 PC나 서버에서 독립적으로 작동한다.

클라우드를 사용하지 않으려는 이유

1. 내부 코드 유출 방지 가능
2. 오프라인 환경에서도 사용 가능
3. 내부 규칙이나 정보 파인 튜닝 가능

모델 선택 조건

• 상업적 이용이 가능할 것
• 한국어, 영어를 이용할 수 있을 것
• 다양한 프로그래밍 언어를 지원할 것
  • 최신 언어뿐만 아니라 레거시 언어도 지원할 것

모델 선정

성능, 환경등을 고려해서 딥시크를 선택했다.