램 값 두 배 뛴 지금, 증설 대신 SSD에서 모델을 읽는 법 — 스트리밍 엔진 3종 판정
DDR5 32GB가 1년새 94% 오른 2026년 10월, 램 증설 대신 NVMe SSD에서 MoE 전문가를 스트리밍해 RAM보다 큰 모델을 돌리는 엔진 3종(janas·Strata·ds4)을 요구사항·비용·실패 조건으로 비교한다. 구독 12개월과의 비용 비교까지.
DDR5 32GB가 1년새 94% 오른 2026년 10월, 램 증설 대신 NVMe SSD에서 MoE 전문가를 스트리밍해 RAM보다 큰 모델을 돌리는 엔진 3종(janas·Strata·ds4)을 요구사항·비용·실패 조건으로 비교한다. 구독 12개월과의 비용 비교까지.
Hugging Face에서 Q4_K_M·Q8_0·UD-IQ3_S 중 뭘 받을지 결정하는 기준이다. Q4와 Q8의 PPL 차이는 소수점 셋째 자리 수준이고 3비트부터 손실이 커진다. VRAM 8~24GB 카드별 실측 파일 크기와 KV 캐시 q8_0, MoE CPU 오프로드로 Q4를 유지하는 방법까지 정리했다.