이 가이드는 Windows 11에서 Ollama 로컬 AI 모델 설치하는 방법에 대해 설명합니다.
Windows 11에는 Copilot+ PC와 같은 특정 하드웨어에서 사용할 수 있는 AI 모델이 많이 내장되어 있지만, 이러한 모델은 일반적으로 규모가 작고 특수화된 모델입니다.
따라서 AI 대규모 언어 모델(LLM)과 상호 작용하는 주요 방법은 Microsoft Copilot, OpenAI ChatGPT, Google Gemini 등과 같은 온라인 챗봇을 이용하는 것입니다.
이러한 LLM 모델을 사용할 때 주의할 점은 모든 요청을 클라우드에서 처리하는 것으로, 이는 모든 사람이 이러한 방식을 원하는 것은 아닙니다. 바로 이러한 점이 Ollama가 유용한 도구가 됩니다.
Ollama는 Windows 11, 10 또는 기타 지원되는 운영 체제를 실행하는 로컬 컴퓨터에서 명령줄 환경이나 그래픽 인터페이스를 사용하여 대규모 언어 모델을 직접 실행할 수 있는 오픈 소스 도구입니다.
개인 사용자, 개발자 및 연구자가 이러한 AI 모델을 다운로드, 실행 및 관리하는 과정을 간소화할 수 있도록 설계 되었습니다.
Windows 11에서 Ollama 로컬 AI 모델을 설치하는 방법
사용자의 Windows 11 컴퓨터에서 LLM 모델을 로컬로 실행하는 가장 쉬운 도구 중 하나인 Ollama 설치 및 설정하는 단계를 살펴 봅니다.
Windows 11 또는 10에서 Ollama 도구를 설치하기 위한 시스템 요구 사항은 다음과 같습니다.
Processor : Intel 또는 AMD x86-64
Memory : 8GB 이상, 16GB 이상
Storage : 10GB 여유 공간
Graphics : 내장형 또는 전용 GPU
요구 사항은 높지 않지만 최신 멀티 코어 프로세서, 최소 32GB의 메모리, 256GB 이상의 SSD(NVMe 권장) 여유 공간 그리고 NVIDIA RTX 30XX 시리즈와 같은 그래픽 카드를 권장하고 있습니다.
01 Ollama 로컬 AI 도구 설치
Windows 11에서 Ollama 도구를 로컬로 설치하려면 다음 단계를 수행합니다.
키보드 단축키 Win + R 키를 눌러 실행 대화 상자를 열고 wt 입력 후 Ctrl + Shift + Enter 키를 눌러 관리자 권한으로 터미널을 실행합니다.
공식 Ollama 도구를 설치하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
WinGet install --id Ollama.Ollama🔦 참고 : Windows 패키지 관리자(WinGet) 도구를 사용하여 설치하는 것 외에도 Ollama 설치 프로그램은 공식 웹 사이트 또는 GitHub 페이지에서 다운로드할 수도 있습니다.
터미널에서 실행한 명령어로 설치가 진행되면 “Setup – Ollama” 창이 열립니다.
설치가 완료되면 Ollama 도구가 백그라운드에서 실행되고, GUI 환경을 포함하여 명령 프롬프트 또는 PowerShell을 통해 Ollama와 상호 작용할 수 있습니다.
(선택 사항) Windows 11에서 Ollama 도구를 더 이상 사용하지 않을 경우 다음 명령어를 입력하고 Enter 키를 눌러 제거할 수 있습니다.
WinGet uninstall --id Ollama.Ollama🔦 참고 : Ollama 도구를 제거하기 전에 컴퓨터에서 모든 AI 모델을 제거하는 것이 좋습니다.
02 Ollama AI 모델 설치 및 실행 방법 (CLI)
Windows 11에서 Ollama 도구를 사용하여 설치할 AI 모델을 선택합니다.
설치를 시작하기 전에 Ollama 라이브러리 페이지에서 설치하려는 AI 모델을 확인할 수 있습니다.
각 모델에는 1b, 4b, 12b 등과 같은 표기가 있으며, 이는 매개변수의 개수를 수십억 단위로 나타낸 것으로, 숫자가 높을수록 모델의 규모가 커지고 잠재적으로 더 뛰어난 성능을 발휘할 수 있습니다.
그러나 그만큼 더 강력한 하드웨어가 필요합니다. 따라서 처음 사용하시는 분이라면 가장 적은 버전, 예를 들어 “1b” 모델을 다운로드하시는 것이 좋습니다.
키보드 단축키 Win + R 키를 눌러 실행 대화 상자를 열고 wt 입력 후 Ctrl + Shift + Enter 키를 눌러 관리자 권한으로 터미널을 실행합니다.
AI 모델 설치에 앞서 터미널 기본 프로필이 PowerShell 환경인 경우 명령 프롬프트로 전환합니다.
(선택 사항) Ollama 버전을 확인하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama --version(선택 사항) Ollama 실행 여부를 확인하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
curl http://localhost:11434
AI 모델을 컴퓨터에 로컬로 설치하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama pull gemma3:1b🔦 참고 : 이 명령은 10억 개의 매개변수를 포함하는 Google Gemma 버전 3을 다운로드합니다. 명령에서 사용하려는 모델 및 버전으로 변경하여 사용하세요.
(선택 사항) 설치된 모델을 보려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama list(옵션) 설치된 AI 모델을 제거하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama rm gemma3:1bAI 모델 제거 후 설치된 모델을 확인합니다.
(옵션) 기존 AI 모델 제거 후 다른 AI 모델을 설치하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama pull deepseek-r1:1.5b🔗 DeepSeek R1 로컬 실행 방법 (컴퓨터 및 모바일)
(선택 사항) 특정 모델의 구성 및 매개변수와 같은 세부 정보를 표시하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama show deepseek-r1:1.5b위 명령에서 Ollama와 함께 사용 중인 모델 AI로 변경하여 사용합니다.
Ollama 도구를 사용하여 설치한 AI 모델을 실행하려면 다음 명령을 입력하고 Enter 키를 누릅니다.
ollama run deepseek-r1:1.5b위 명령에서 Ollama와 함께 사용 중인 모델 AI로 변경하여 사용합니다.
03 Ollama AI 모델 설치 및 실행 방법 (GUI)
Windows 11에서 Ollama GUI 앱을 사용하여 AI 모델을 설치하려면 다음 단계를 수행합니다.
Ollama 도구 설치 후 Ollama 앱이 자동으로 실행됩니다.
만약 앱이 자동으로 실행되지 않을 경우 시작 메뉴에서 Ollama 도구를 검색하여 앱을 실행합니다.
Ollama 도구 창에서 “AI 모델” 드롭다운 메뉴를 클릭하고, 다운로드할 모델을 선택합니다.
예를 들어 CLI 환경 예시 화면에서 제거했던 “gemma3:1b” 모델을 선택합니다.
사용자가 Ollama 앱에서 AI 모델을 선택해도 다운로드 등 별다른 변화가 발생하지 않습니다.
사용자가 선택한 모델에서 질문을 작성하여 제출하면 해당 AI 모델 다운로드가 진행됩니다.
모든 단계를 완료하면 GUI 환경에서 AI 모델이 컴퓨터로 다운로드됩니다.
Ollama 계정이 있는 경우 로그인하여 내장된 웹 검색 기능을 활용해 모델의 기능과 온라인에서 이용 가능한 최신 정보를 결합할 수 있습니다.
Trubo 기능은 Ollama에서 제공하는 클라우드 기반 서비스로, 대규모 AI 모델을 실행할 수 있습니다.
이 서비스는 로컬 컴퓨터에서 실행하기에는 너무 크거나 속도가 느린 모델에 고성능 및 빠른 속도를 제공하도록 설계되었습니다. 다만 매월 유료 구독 요금이 발생합니다.
Ollama 도구는 사용 가능한 AI 모델을 미리 다운로드하는 옵션을 제공하지 않지만, CLI 및 GUI 환경에서 간편하게 이 작업을 완료할 수 있습니다.
마치며
Ollama 도구를 사용하여 설치한 AI 모델은 비교적 최신 하드웨어에서도 실행할 수 있으며, 신경 처리 장치인 NPU가 반드시 필요한 것은 아닙니다.
다만 각 AI 모델의 매개변수에 따라 필요한 하드웨어 사양이 다릅니다. 예를 들어 “gpt-oss-20b” 모델은 일반적인 최신 하드웨어로 실행할 수 있습니다.
그러나 gpt-oss-120b 모델을 사용하려면 최소 80GB VRAM을 갖춘 NVIDIA GPU, 서버 프로세서(Intel Xeon 등), 최소 256GB 메모리 등 고성능 하드웨어가 필요합니다.
