로컬 LLM 메모리 계산법: 8B·14B·32B·70B RAM·VRAM 가이드
로컬 LLM의 실제 GGUF 파일, KV 캐시, 컨텍스트, 버퍼를 합산해 8B·14B·32B·70B 모델의 RAM·VRAM 요구량을 계산하는 실무 가이드다.
로컬 LLM의 실제 GGUF 파일, KV 캐시, 컨텍스트, 버퍼를 합산해 8B·14B·32B·70B 모델의 RAM·VRAM 요구량을 계산하는 실무 가이드다.
AI 개발용 RAM 32GB·64GB·96GB·128GB 선택 기준을 Docker, 코딩 에이전트, 로컬 LLM 모델 크기와 DDR5 구성으로 정리했다.