TL;DR
- Ollama 모델 다운로드는 명령 하나다.
ollama pull <모델명>으로 받고,ollama run <모델명>은 없으면 받은 뒤 바로 실행한다.- 모델 이름에 붙는 태그가 크기와 정밀도를 정한다.
qwen3:8b처럼 콜론 뒤 값을 바꾸면 같은 계열의 다른 크기를 받는다.- 받은 모델은 디스크에 쌓인다.
ollama list로 확인하고ollama rm으로 지우는 습관이 없으면 수십 기가가 조용히 사라진다.
Ollama 모델 다운로드를 찾는 상황은 보통 둘이다.
처음 설치하고 무엇을 받아야 할지 모르는 경우, 그리고 이미 여러 개를 받아놓고 디스크가 부족해진 경우.
앞쪽은 어떤 모델을 고를지의 문제이고, 뒤쪽은 관리의 문제다.
Ollama는 모델을 컨테이너 이미지처럼 다룬다.
라이브러리에서 이름으로 받고, 태그로 버전과 크기를 고르고, 목록을 보고, 지운다.
도커를 써봤다면 명령 구조가 익숙할 것이다.
깃허브 별이 18만 개를 넘겼고 공식 라이브러리에는 내려받기 수천만 건을 기록한 모델들이 올라와 있다.
아래는 모델을 고르고 받고 정리하는 전체 흐름을 공식 문서와 라이브러리 기준으로 정리한 것이다.
모델 이름과 태그를 읽는 법
라이브러리의 모델 이름은 계열:태그 형태다.
태그를 생략하면 기본값이 붙는다.
태그에 들어가는 값은 대개 매개변수 크기다. qwen3:0.6b부터 qwen3:235b까지 같은 계열 안에 여러 크기가 있고, 숫자가 클수록 성능이 좋고 메모리를 많이 쓴다.
정밀도를 지정하는 태그가 따로 붙는 경우도 있다.
모델마다 능력 표시가 붙어 있어서 고를 때 참고가 된다.
도구 호출이 되는지, 사고 과정을 내는지, 이미지를 이해하는지, 임베딩 전용인지가 표시된다.
임베딩용 모델을 채팅에 쓰거나 그 반대로 쓰면 동작하지 않으니 이 표시를 먼저 본다.
라이브러리에서 자주 받는 계열을 보면 성격이 갈린다.
범용 대화와 도구 호출 계열, 추론에 강한 계열, 단일 GPU에서 돌도록 만든 계열, 이미지까지 다루는 비전 계열, 그리고 검색용 임베딩 전용 모델이 각각 있다.
Ollama 모델 다운로드와 실행 명령
기본 명령은 넷이다.
ollama pull qwen3:8b
ollama run qwen3:8b
ollama list
ollama rm qwen3:8bpull은 받기만 한다. run은 없으면 받고 바로 대화를 시작한다.
처음 쓸 때는 run이 편하지만, 큰 모델을 받을 때는 pull로 먼저 내려받고 완료를 확인하는 편이 낫다.
list는 받은 모델과 각각의 용량을 보여준다.
정리를 시작하는 지점이다. rm은 지운다.
지운 모델은 다시 받으면 되므로 부담 없이 정리해도 된다.
실행 중인 모델을 확인하는 명령도 있다.
메모리에 올라가 있는 모델을 보고 필요 없으면 내려서 메모리를 비운다.
어떤 모델부터 받을지 정하는 순서
- 장비 메모리를 확인합니다. 이 값이 고를 수 있는 크기의 상한을 정합니다.
- 하려는 작업을 정합니다. 대화, 코딩, 요약, 임베딩 중 무엇인지에 따라 계열이 갈립니다.
- 작은 것부터 받습니다. 처음이라면 8B 안팎이 응답 속도와 품질의 균형이 낫습니다.
- 실제 작업 프롬프트를 몇 개 넣어봅니다. 벤치마크 점수보다 자기 업무로 확인하는 게 정확합니다.
- 부족하면 한 단계 큰 태그로 바꿔 받아 비교합니다.
- 만족스러운 모델을 정하고 나머지는 지웁니다.
- 도구 호출이나 이미지 처리가 필요하면 그 능력이 표시된 모델인지 확인합니다.
3번을 건너뛰고 큰 모델부터 받는 경우가 많은데, 내려받는 데 시간이 오래 걸리고 결국 메모리에 안 올라가는 일이 생긴다.
작은 것으로 흐름을 먼저 확인하는 편이 빠르다.
디스크가 차오를 때 정리하는 방법
모델 파일은 크다.
몇 개만 받아도 수십 기가가 된다.
정리 원칙은 단순하다.
같은 계열의 여러 크기를 남겨두지 않는다.
비교가 끝났으면 쓰는 것만 남기고 지운다.
태그가 다른 중복본을 확인한다.
기본 태그로 한 번, 명시적 태그로 한 번 받으면 같은 모델이 두 벌 있을 수 있다.
목록에서 용량을 보면 드러난다.
임베딩 모델은 작으니 남겨둔다.
검색이나 분류 기능을 쓸 계획이라면 다시 받는 시간이 아깝다.
정리 주기를 정한다.
새 모델을 받을 때마다 목록을 한 번 훑는 습관이면 충분하다.
로컬과 클라우드를 나눠 쓰는 구성
장비에 올릴 수 없는 크기의 모델은 클라우드로 부를 수 있다.
공식 문서가 로컬과 클라우드 기본 주소를 각각 안내하고, 같은 API 형식으로 요청을 보낸다.
요금은 구독 형태다.
무료 플랜에서도 클라우드 모델에 접근할 수 있고, CLI와 API, 데스크톱 앱, 4만 개가 넘는 커뮤니티 연동을 쓸 수 있다.
Pro는 월 $20 또는 연 $200이고 더 큰 클라우드 모델과 동시 3개 실행, 무료 대비 50배 사용량, 비공개 모델 업로드가 붙는다.
Max는 월 $100으로 동시 10개와 Pro 대비 5배 사용량인데, 용량 확충 때문에 신규 가입이 일시 중단돼 있다고 공지돼 있다.
팀 플랜은 좌석당 월 $25이고 최소 5석이다.
미국과 유럽 리전, 데이터 보관과 로깅 없음, 공유 청구와 우선 지원이 포함된다.
나누는 기준은 데이터다.
민감한 내용은 로컬 모델로, 무거운 작업은 클라우드로 보내는 구성이 일반적이다.
로컬 실행을 화면으로 관리하고 싶다면 LM Studio 사용법 쪽 구성과 비교해볼 만하다.
애플리케이션에 붙일 때
Ollama는 로컬에 API 서버를 띄운다.
파이썬과 자바스크립트 라이브러리가 각각 있고, 에디터나 에이전트에 연결하는 통합 문서도 준비돼 있다.
주의할 점은 모델 로딩 시간이다.
첫 요청에서 모델을 메모리에 올리므로 응답이 늦다.
자주 쓰는 모델을 미리 올려두거나, 일정 시간 메모리에 유지하는 설정을 조정해두면 체감 속도가 달라진다.
동시 요청도 확인 대상이다.
한 대의 장비에서 여러 요청을 받으면 처리량이 나뉜다.
사내 도구 정도라면 문제없지만, 사용자가 늘어나면 클라우드나 별도 서버 구성을 검토하게 된다.
같은 계열에서 크기를 고르는 기준
태그만 바꾸면 다른 크기를 받을 수 있다는 건 편하지만, 그래서 무엇을 받을지 판단이 필요해진다.
경험적으로는 이런 순서가 무난하다.
먼저 작은 크기로 받아 자기 작업 프롬프트를 열 개쯤 넣어본다.
결과가 쓸 만하면 거기서 멈춘다.
작은 모델은 응답이 빠르고 메모리 여유가 남아 다른 작업과 함께 돌릴 수 있다.
결과가 부족하면 한 단계 올린다.
이때 개선 폭을 확인하는 게 중요하다.
크기를 두 배로 올렸는데 결과가 거의 같다면 그 작업에서는 모델 크기가 병목이 아니라는 뜻이고, 프롬프트나 맥락 구성을 손보는 편이 낫다.
메모리를 꽉 채우는 크기는 피한다.
모델이 겨우 올라가는 상태에서는 다른 프로그램과 경합해 응답이 크게 느려진다.
여유를 조금 남기는 크기가 실제 사용에서는 더 빠르게 느껴진다.
임베딩 모델을 따로 두는 이유
검색이나 분류 기능을 만들 계획이라면 채팅 모델과 별개로 임베딩 전용 모델을 받아둔다.
라이브러리에서 임베딩으로 표시된 모델들이 그것이다.
임베딩 모델은 대화를 하지 않는다.
텍스트를 벡터로 바꾸는 일만 한다.
대신 크기가 작아 메모리 부담이 거의 없고, 채팅 모델과 함께 올려두고 쓸 수 있다.
문서 검색 기능을 만든다면 구성은 이렇게 된다.
문서를 임베딩 모델로 벡터화해 저장해두고, 질문이 들어오면 같은 모델로 벡터화해 가까운 문서를 찾고, 그 문서를 채팅 모델에 넘겨 답을 만든다.
두 모델이 각각 다른 일을 맡는 구조다.
실행 체크리스트
- 장비 메모리를 확인해 감당할 크기를 정합니다.
- 하려는 작업에 맞는 계열을 고릅니다. 임베딩과 채팅은 다릅니다.
ollama pull로 작은 모델부터 받습니다.- 자기 업무 프롬프트로 결과를 확인합니다.
- 부족하면 한 단계 큰 태그로 바꿔 비교합니다.
ollama list로 받은 모델과 용량을 확인합니다.- 비교가 끝난 모델은
ollama rm으로 지웁니다. - 도구 호출이나 이미지 처리가 필요하면 능력 표시를 확인합니다.
- 큰 모델이 필요하면 클라우드 플랜과 로컬 실행을 나누는 기준을 정합니다.
모델을 바꿔도 결과가 나아지지 않을 때
큰 모델로 바꿔도 원하는 답이 안 나오는 경우가 있다.
이때 확인할 것이 몇 가지 있다.
컨텍스트 길이가 첫째다.
긴 문서를 넣었는데 모델의 컨텍스트 설정이 짧으면 앞부분이 잘려 나간다.
잘린 줄 모르고 답이 부실하다고 판단하기 쉽다.
프롬프트 형식이 둘째다.
모델마다 학습된 대화 형식이 있어서, 시스템 메시지를 쓰는 방식이나 지시를 배치하는 위치에 따라 결과가 달라진다.
작업 자체의 성격이 셋째다.
최신 정보나 특정 문서의 내용을 요구하는 질문이라면 모델 크기와 무관하게 답할 수 없다.
이 경우 필요한 건 큰 모델이 아니라 검색으로 근거를 넣어주는 구성이다.
자주 묻는 질문
Ollama 모델은 어떻게 받나요
ollama pull <모델명> 명령으로 받습니다. ollama run <모델명>을 쓰면 없는 경우 자동으로 받은 뒤 바로 실행됩니다.
받은 모델을 지우려면 어떻게 하나요
ollama list로 받은 모델과 용량을 확인한 뒤 ollama rm <모델명>으로 삭제합니다.
필요하면 나중에 다시 받을 수 있습니다.
모델 이름 뒤의 숫자는 무엇인가요
매개변수 크기입니다. 8b는 80억 개 규모를 뜻하고, 숫자가 클수록 메모리를 더 쓰고 응답이 느려집니다.
같은 계열 안에서 태그만 바꿔 다른 크기를 받을 수 있습니다.
장비 성능이 부족하면 어떻게 하나요
클라우드 모델을 호출하는 방법이 있습니다.
무료 플랜에서도 접근할 수 있고, 더 큰 모델과 많은 사용량이 필요하면 Pro가 월 $20, Max가 월 $100입니다.
