로컬 LLM 양자화 뭘로 받을까? — VRAM별 Q4·Q8·IQ 선택 기준 (2026년 10월)

Hugging Face에서 Q4_K_M·Q8_0·UD-IQ3_S 중 뭘 받을지 결정하는 기준이다. Q4와 Q8의 PPL 차이는 소수점 셋째 자리 수준이고 3비트부터 손실이 커진다. VRAM 8~24GB 카드별 실측 파일 크기와 KV 캐시 q8_0, MoE CPU 오프로드로 Q4를 유지하는 방법까지 정리했다.

Continue Reading로컬 LLM 양자화 뭘로 받을까? — VRAM별 Q4·Q8·IQ 선택 기준 (2026년 10월)