로컬 AI 뜻과 시작하는 법 — 내 PC 사양으로 되는지, 뭘 깔아야 하는지

로컬 AI는 인터넷 너머 서버가 아니라 내 컴퓨터 안에서 돌리는 AI를 말합니다. 모델 파일을 통째로 내려받아 두기 때문에 한 번 받고 나면 인터넷이 끊겨도 쓸 수 있고, 입력한 내용이 밖으로 나가지 않습니다. 대신 컴퓨터 성능이 곧 속도와 품질의 한계가 됩니다.

처음 시작할 때 깔 것은 사실상 셋 중 하나입니다. 글을 주고받는 용도면 LM Studio나 Ollama, 그림을 만들 용도면 ComfyUI입니다. 아래 사양과 용량은 각 도구의 공식 문서와 모델 배포 페이지에 적힌 값만 옮겼습니다(2026년 9월 29일 조회).

로컬 AI가 정확히 무엇인가

평소 쓰는 챗봇은 질문을 회사 서버로 보내고 답을 받아옵니다. 계산은 그쪽 장비가 합니다. 로컬 AI는 그 계산을 내 컴퓨터가 합니다. 그래서 세 가지가 달라집니다.

첫째, 데이터가 기기 밖으로 나가지 않습니다. 회사 문서나 개인 기록을 다룰 때 이 점 때문에 고르는 경우가 많습니다.

둘째, 쓸수록 돈이 더 들지 않습니다. 구독료나 사용량 과금이 없습니다. 클라우드 서비스가 사용량을 어떻게 세는지는 구글 Flow 크레딧 얼마나 드나에 정리해 두었습니다.

셋째, 성능 상한이 내 장비에 묶입니다. 큰 모델일수록 메모리를 많이 먹고, 메모리가 모자라면 아예 안 뜨거나 느려집니다. 무료로 쓰는 클라우드 챗봇과 비교가 궁금하다면 ChatGPT Astra 요금제와 사용법도 함께 보시면 판단이 쉬워집니다.

내 PC 사양으로 되는가

공식 요구사항을 숫자로 밝혀 둔 곳은 LM Studio입니다. 아래는 LM Studio 공식 시스템 요구사항 문서에 적힌 내용입니다.

여기서 걸러지는 조건이 둘 있습니다. 하나는 AVX2입니다. 2013년 하스웰 세대 이후 인텔 CPU와 그에 대응하는 AMD CPU에 들어 있는 명령어 집합인데, 아주 오래된 PC라면 여기서 막힙니다. 다른 하나는 맥입니다. 공식 문서의 칩 항목에는 Apple Silicon만 적혀 있고 인텔 맥에 대한 언급이 없으므로, 인텔 맥을 쓰신다면 설치 전에 공식 문서를 한 번 더 확인하시기 바랍니다.

Ollama와 ComfyUI는 사정이 다릅니다. 두 도구 모두 공식 문서에 최소 RAM이나 VRAM 용량을 숫자로 명시하지 않습니다. 인터넷에 도는 “최소 8GB” 같은 수치는 사용자들의 경험담이지 공식 기준이 아닙니다. 그래서 이 글에서도 숫자를 적지 않았습니다. 대신 ComfyUI 공식 문서가 밝힌 지원 범위는 이렇습니다.

마지막 줄이 중요합니다. 그래픽카드가 없어도 못 쓰는 것은 아닙니다. 느릴 뿐입니다. LM Studio 역시 8GB 맥에서 소형 모델을 권장한다고 적어 두었으니, 사양이 낮다고 미리 포기할 일은 아닙니다. 작은 모델부터 받아 보고 판단하는 편이 낫습니다.

모델은 얼마나 큰가

도구를 깔았다고 끝이 아닙니다. 그 안에서 돌릴 모델 파일을 따로 받아야 하고, 이게 용량을 차지합니다. 구글이 공개한 Gemma 3를 예로 들면 같은 모델도 크기별로 나뉩니다. 아래는 Ollama 공식 모델 페이지에 표시된 태그별 다운로드 용량입니다.

태그의 b는 파라미터 수 10억 단위를 뜻합니다. 27b는 270억 개라는 뜻이고, 숫자가 클수록 답이 낫지만 그만큼 메모리를 요구합니다. 실무에서는 모델 용량이 그래픽카드 메모리 안에 들어가느냐가 갈림길이 됩니다. 들어가면 빠르고, 넘치면 시스템 메모리로 넘어가면서 급격히 느려집니다.

그래서 처음에는 1b나 4b처럼 작은 것부터 받아 보는 편이 좋습니다. 저장공간도 미리 확인해 두시기 바랍니다. 모델 몇 개만 받아도 수십 GB가 금방 찹니다. 기기 저장공간 확인하는 방법은 아이폰 iOS 업데이트가 안 뜰 때에서 다룬 적이 있습니다.

Gemma 3에는 QAT 버전도 있습니다. Ollama 모델 페이지 설명에 따르면 반정밀도(BF16) 모델과 비슷한 품질을 유지하면서 메모리 사용량을 3배 줄인 것입니다. 같은 크기에서 메모리가 빠듯하다면 이쪽을 살펴볼 만합니다.

무엇을 깔아야 하는가

용도로 갈라집니다.

글을 주고받고 싶고, 검은 화면이 부담스럽다면 LM Studio입니다. 일반 프로그램처럼 창이 뜨고, 그 안에서 모델을 검색해 내려받고 바로 대화할 수 있습니다. 앞서 본 대로 공식 요구사양이 문서에 적혀 있어서 내 PC가 되는지 미리 판단하기도 쉽습니다.

다른 프로그램에 AI를 연결하거나 자동화할 생각이라면 Ollama입니다. 명령줄 도구라 설치 후 ollama run 모델명 한 줄이면 모델이 뜹니다. 공식 저장소 기준으로 설치는 이렇습니다.

그림을 만들고 싶다면 ComfyUI입니다. 앞의 둘과 성격이 다릅니다. 글 모델을 돌리는 도구가 아니라 이미지 생성 과정을 노드로 연결해 짜는 도구입니다. 자유도가 높은 대신 처음 익히는 데 시간이 걸립니다.

셋은 배타적이지 않습니다. 글은 LM Studio나 Ollama로, 그림은 ComfyUI로 쓰는 식으로 함께 두고 쓰는 경우가 많습니다.

클라우드 AI와 어떻게 다른가

어느 쪽이 낫다고 잘라 말하기 어렵습니다. 다루는 내용이 밖으로 나가면 곤란하거나, 인터넷이 불안정한 환경이거나, 같은 작업을 아주 많이 반복한다면 로컬 쪽이 맞습니다. 가끔 쓰고 최신 성능이 중요하다면 클라우드가 편합니다.

자주 묻는 질문

그래픽카드가 없으면 못 쓰나요?
아닙니다. ComfyUI는 공식 문서에 --cpu 옵션이 안내돼 있고, LM Studio도 8GB 맥에서 소형 모델을 권장한다고 적어 두었습니다. 다만 속도는 떨어집니다.

어느 크기 모델부터 받아야 하나요?
작은 것부터 받아 보시기 바랍니다. Gemma 3 기준으로 1b는 815MB, 4b는 3.3GB입니다. 잘 돌아가면 한 단계씩 올리면 됩니다.

Ollama를 쓰려면 사양이 얼마나 필요한가요?
Ollama 공식 문서와 저장소에는 최소 사양이 숫자로 적혀 있지 않습니다. 돌리려는 모델의 용량을 기준으로 판단하시고, 설치 전 확인이 필요하면 공식 문서를 직접 보시기 바랍니다.

이미지 생성에는 VRAM이 몇 GB 필요한가요?
ComfyUI 공식 문서에 최소·권장 VRAM 용량은 명시돼 있지 않습니다. 지원 GPU 범위만 안내돼 있어, 이 글에서도 숫자를 단정하지 않았습니다.

인텔 맥에서도 되나요?
LM Studio 공식 요구사항의 칩 항목에는 Apple Silicon(M1~M4)만 적혀 있습니다. 인텔 맥 사용 여부는 설치 전 공식 문서에서 확인하시기 바랍니다.

핵심 3줄 요약

• 로컬 AI는 내 컴퓨터에서 직접 돌리는 AI로, 데이터가 밖으로 나가지 않고 사용량 과금도 없지만 성능이 장비에 묶입니다.
• 공식 사양이 숫자로 공개된 것은 LM Studio뿐입니다. macOS는 Apple Silicon과 14.0 이상, Windows는 AVX2와 전용 VRAM 4GB 이상 권장입니다. Ollama와 ComfyUI는 공식 최소 사양을 밝히지 않습니다.
• 글은 LM Studio나 Ollama, 그림은 ComfyUI로 갈립니다. 모델은 Gemma 3 기준 1b 815MB에서 27b 17GB까지라 작은 것부터 받아 보는 편이 안전합니다.

사양 요구치와 모델 용량은 도구와 모델이 갱신되면 바뀝니다. 이 글의 수치는 2026년 9월 29일에 각 공식 문서와 모델 페이지에서 확인한 값이며, 설치 전에 해당 공식 문서를 한 번 더 열어 보시기 바랍니다.