Kimi K3, 29GB라는 숫자만 보면 놓치는 것
노트북 메모리 29GB로 거대한 AI 모델을 돌렸다는 말은 꽤 솔깃합니다. Kimi K3를 비싼 서버 없이 내 컴퓨터에서 쓸 수 있다는 뜻처럼 들리니까요. 그런데 준비물을 펼쳐보면 분위기가 달라집니다. 최소 메모리보다 먼저 약 1TB짜리 변환 모델과 빠른 내부 SSD, 그리고 한 토큰을 기다릴 시간이 필요합니다.
WASTE라는 로컬 추론 엔진이 보여준 건 “가볍게 실행된다”가 아닙니다. 2.78조 파라미터 규모 모델도 필요한 전문가 가중치만 디스크에서 불러오면 소비자용 기기에서 열 수 있다는 가능성이에요. 가능과 쾌적함은 여기서 아주 멀리 떨어져 있습니다.
처음 보는 입장에서는 세 가지만 같이 보면 됩니다. 실행에 필요한 메모리, 모델을 둘 저장공간, 답을 받는 속도예요. 이 셋 중 하나라도 내 작업과 맞지 않으면 더 작은 모델이나 API가 훨씬 편합니다.
29GB보다 1TB 저장공간에서 먼저 멈춥니다
Kimi K3 전체 가중치는 공개 상태에서 약 1.42TB이고, WASTE용 컨테이너로 바꾼 뒤에도 982GiB입니다. 변환하는 동안에는 원본 조각을 둘 임시 공간도 더 필요해요. 29GB RAM만 보고 시작했다가는 다운로드 단계에서 디스크가 먼저 꽉 찰 수 있습니다.
공식 저장소가 말하는 최소 RAM은 4K 문맥 기준 29.05GB입니다. 하지만 32GB 기기는 페이지 교환 때문에 버거울 수 있고, 공개된 측정값은 64GB MacBook Pro에서 나왔습니다. 숫자 하나보다 어떤 조건에서 나온 수치인지 보는 게 중요하죠.
잠깐 정리하면 준비물은 이렇습니다.
- 변환된 모델을 둘 약 1TB의 빠른 내부 저장공간
- 실제 측정에 가까운 64GB 메모리 환경
- C11 컴파일러와 모델 변환 과정
- 빠른 답보다 로컬 실행 자체가 중요한 작업
가벼운 오픈 모델부터 감을 잡고 싶다면 Gemma 계열을 볼 때 확인할 기준처럼 모델 크기와 용도를 먼저 나누는 편이 낫습니다. 처음부터 가장 큰 모델을 고르는 건 등산화를 사기도 전에 정상부터 정하는 셈이에요.
한 문장이 30초면 쓰임새가 완전히 달라집니다
공개 측정에서 Kimi K3는 초당 약 0.49~0.54토큰을 냈습니다. 예시 문장 16토큰을 만드는 데 약 31초가 걸렸어요. 채팅창에 질문을 던지고 바로 다음 작업으로 넘어가는 속도와는 거리가 있습니다.
느린 이유는 모델의 대부분을 매번 메모리에 올리지 않고, 토큰에 필요한 전문가 가중치를 SSD에서 읽기 때문입니다. 한 토큰이 약 17GB의 전문가 데이터를 건드린다고 설명해요. 외장 USB 저장장치를 쓰면 같은 읽기가 크게 느려질 수 있어 내부 NVMe가 사실상 핵심 부품입니다.
| 확인할 숫자 | 공개된 조건 | 실제로 뜻하는 것 |
|---|---|---|
| 최소 RAM | 약 29GB | 실행이 열리는 바닥선 |
| 모델 컨테이너 | 약 982GiB | 빠른 저장공간이 먼저 필요 |
| 생성 속도 | 약 0.5토큰/초 | 실시간 대화보다 실험에 가까움 |
그래서 Kimi K3 로컬 실행은 일반적인 챗봇 대체재라기보다 엔진 연구와 데이터 반출 제한을 시험하는 장면에 더 가깝습니다. 속도만 보면 작고 빠른 모델이 훨씬 편합니다.
인터넷 밖에 둬야 할 데이터라면 계산이 달라집니다
느린데도 Kimi K3를 로컬에서 돌리려는 이유는 분명합니다. 입력이 외부 API로 나가지 않고, 호출할 때마다 토큰 요금이 붙지 않아요. 회사 규정상 소스코드나 민감한 문서를 외부 서비스에 보낼 수 없는 팀에는 이 차이가 큽니다.
다만 “로컬이니 공짜”라고 보면 또 헷갈립니다. 대용량 SSD, 긴 변환 시간, 전력, 유지보수, 느린 처리 시간이 비용으로 옮겨갈 뿐이에요. Codex 가격과 무료 범위를 비교하는 방법처럼 API 구독료와 사람의 대기 시간을 함께 놓고 봐야 합니다.
자료가 밖으로 나가지 않는다는 장점도 운영 방식에 따라 달라집니다. 다운로드한 가중치의 출처, 모델 라이선스, 로컬 로그와 백업 위치까지 확인해야 진짜로 통제 범위 안에 들어옵니다.
API와 로컬 선택이 갈리는 세 가지 조건
공식 Kimi K3 API는 긴 코딩과 지식 작업, 이미지 이해를 지원하고 최대 100만 토큰 문맥을 안내합니다. API는 설치와 저장공간 부담이 적고 속도도 낫지만, 사용량에 따라 비용이 생기고 데이터를 외부로 보내게 됩니다.
공식 안내에 적힌 API 단가는 캐시 적중 입력 100만 토큰당 0.30달러, 캐시 미적중 입력 3달러, 출력 15달러입니다. 같은 문서를 반복해서 다루는지, 긴 답을 자주 받는지에 따라 청구액이 크게 달라질 수 있어요. 한 달 호출량을 모른다면 대표 작업 열 번을 먼저 재고 계산하는 편이 낫습니다.
로컬은 반대예요. 초기 준비가 크고 느리지만 네트워크 없이 모델을 열 수 있습니다. 둘 중 하나가 늘 정답은 아닙니다. 공개 자료 정리와 일반 코딩은 API, 반출이 어려운 자료나 엔진 실험은 로컬처럼 작업을 나누는 편이 현실적입니다.
Kimi K3를 당장 설치하기 전에 아래 네 가지부터 적어보세요.
- 외부로 보내면 안 되는 데이터가 실제로 있는지 봅니다.
- 답변 한 번에 수십 초가 걸려도 되는지 정합니다.
- 내부 SSD에 1TB 이상을 비울 수 있는지 확인합니다.
- 같은 일에 더 작은 모델이 충분한지 비교합니다.
로컬 실행 전에 꼭 확인할 세 가지
Kimi K3는 32GB 노트북에서도 돌아가나요?
공식 저장소가 제시한 최소치는 약 29GB라 실행 자체는 가능할 수 있습니다. 하지만 32GB 환경은 운영체제와 다른 앱이 쓸 여유가 적어 페이지 교환이 심해질 수 있어요. 공개 설명도 64GB를 현실적인 조건으로 봅니다.
1TB 외장 SSD를 쓰면 충분한가요?
Kimi K3 컨테이너를 보관하는 용도로는 공간이 맞을 수 있지만, 추론 속도는 저장장치 읽기 성능에 크게 기대고 있습니다. 공개 측정에서는 내부 NVMe와 USB 외장 장치 사이에 큰 차이가 났어요. 내려받기 보관용과 실제 실행용 디스크를 나누는 편이 안전합니다.
일반 사용자는 API와 로컬 중 무엇이 나은가요?
빠른 대화와 코딩 지원이 목적이라면 API가 훨씬 단순합니다. Kimi K3 로컬 실행은 데이터 반출 제한이 있거나 초대형 모델의 디스크 스트리밍을 연구할 때 의미가 커요. 비용을 비교할 때는 토큰 요금만 보지 말고 장비와 대기 시간도 넣으세요.
거대한 모델을 책상 위에 올린다는 진짜 의미
Kimi K3를 29GB RAM에서 열었다는 결과는 노트북이 서버를 완전히 대신했다는 뜻이 아닙니다. 실행 불가능해 보이던 모델을 저장장치와 캐시 설계로 겨우 닿을 수 있는 범위로 옮겼다는 뜻에 가깝습니다.
그 가능성은 충분히 흥미롭습니다. 다만 설치 버튼을 찾기 전에 1TB 저장공간, 약 0.5토큰의 속도, 데이터 통제라는 세 숫자를 같이 보세요. 내 목적이 빠른 답인지, 외부로 나가지 않는 답인지 정하면 선택이 훨씬 쉬워집니다.
