검은 화면에 초록색 글자가 좌르륵 흐르고, 알 수 없는 명령어를 한 줄씩 쳐 넣는 손. “내 컴퓨터에서 AI를 돌린다”는 말에 이런 장면부터 떠올랐다면 — 좋은 소식이 있다. 그 화면은 이제 필요 없다.
지난 편에서 우리는 브라우저 탭 하나로 인터넷을 꺼도 대답하는 챗봇을 만났다. 그건 맛보기였다. 오늘은 한 걸음 더 들어간다. 브라우저 탭을 닫아도, 컴퓨터를 껐다 켜도 그 자리에 있는 AI — 내 하드디스크에 상주하는, 진짜 나만의 AI 비서를 들인다. 남의 서버도, 매달 빠져나가는 구독료도, 로그인 창도 없이. 그리고 약속하건대, 터미널은 단 한 번도 열지 않는다.
“그건 개발자나 하는 거 아니야?”
먼저 솔직하게 인정하자. 몇 년 전까지 “로컬 AI”는 정말로 개발자의 영역이었다. 명령어를 외우고, 파이썬 환경을 맞추고, 빨간 에러 메시지와 씨름해야 했다. 그 인상은 틀린 게 아니었다 — 딱 최근까지는.
사진을 떠올려 보자. 아주 예전엔 이미지를 보정하려면 명령어로 픽셀 값을 직접 건드려야 했다. 지금은? 앱을 열고 슬라이더를 민다. 그 밑에서 도는 계산은 똑같지만, 우리는 더 이상 그걸 몰라도 된다. 로컬 AI도 정확히 이 길을 걸었다. 예전엔 터미널로 직접 다뤄야 했던 걸, 이제는 설치형 GUI 앱이 통째로 대신한다. 클릭과 타이핑. 딱 그뿐이다.
💡 더 깊이 — “GUI 앱”은 사실 엔진을 감싼 껍데기 개념
여기서 “GUI 앱”의 정체는 무거운 AI 엔진을 감싼 껍데기입니다. 예전에 개발자들이 터미널로 직접 부리던 그 엔진(대표적으로 llama.cpp 계열)을 앱이 안에 품고, 우리에겐 버튼과 채팅창만 내밉니다. 껍데기 밑을 파보고 싶다면 3편 will-it-run에서 “거대한 AI가 어떻게 내 노트북에 들어가는가”를 손으로 뜯어봅니다.
설치가 아직 부담스럽다면, 여기서 멈추지 말고 가장 가벼운 문부터 열어보자. 1편의 브라우저 오프라인 챗봇을 링크 한 번으로 열면 — 설치도 계정도 없이, 탭 안에서 AI가 도는 감각을 30초 만에 맛본다. 그 느낌이 좋았다면, 아래로 내려와 진짜 상주 비서를 들이면 된다.
남의 집에서, 내 집으로
이번 호를 관통하는 이야기는 하나의 이사(移徙)다. 내 컴퓨터에 AI를 들인다는 건, 남의 집에 세 들어 살던 세입자를 내 집 차고로 데려오는 일이다. 이사가 끝나면 손에 남는 것:
- 구독료 0원. 앱도 무료, 모델도 무료. 매달 나가던 돈이 멈춘다.
- 로그인 0회. 계정도, 카드 등록도 없다.
- 오프라인 OK. 비행기 안에서도, 와이파이가 죽은 카페에서도 대답한다.
- 내 데이터가 안 나간다. 내가 쓴 말이 내 기계 밖으로 한 발짝도 나가지 않는다.
물론 공짜 점심은 없다. 내 노트북에 사는 AI는 클라우드의 거대한 모델보다 느리고, 조금 덜 똑똑하다. 이 정직한 맞바꿈은 이 호 내내 다룬다. 하지만 지금은 이것만 기억하자. “느려도 내 것”의 감각.
내 컴퓨터엔 어떤 AI가 들어갈까 — RAM이라는 문틀
이사에서 제일 먼저 재는 게 있다. 소파가 현관문을 통과하느냐. AI 모델에서 그 ‘문틀’이 바로 컴퓨터의 RAM(메모리)이다. 그러니 이사 전에 내 문틀부터 재자.
- 윈도우:
작업 관리자 → 성능 → 메모리 - 맥: 왼쪽 위 사과 메뉴 →
이 Mac에 관하여 → 메모리
숫자를 확인했다면, 아래 표에서 내 RAM 칸을 찾으면 된다. 이게 이 글에서 가장 실용적인 표다.
| 내 RAM | 추천 모델(예시) | 파라미터 | 대략 용량 | 성격 |
|---|---|---|---|---|
| 8GB | Llama 3.2 3B · Gemma 3 4B · Phi-3.5 mini | 3~4B | 약 2~3.3GB | 가볍고 빠름. 확신 안 서면 여기서 시작. |
| 16GB | Llama 3.1 8B · Qwen2.5 7B · Mistral 7B | 7~8B | 약 4.5~5GB | 균형점. 대부분의 실사용에 무난. |
| 32GB+ | Gemma 3 12B~27B · Qwen2.5 14B~32B | 12~32B | 약 8~20GB | 더 똑똑하지만 더 느림. |
여기서 파라미터의 “B”는 모델 안에 든 조절 손잡이의 개수(단위: 10억)라고만 알아두면 충분하다. 눈대중 규칙은 간단하다: 파라미터 숫자에 약 0.6을 곱하면 대략 몇 GB짜리인지 나온다. 3B면 2GB쯤, 8B면 5GB쯤. 딱 하나만 기억하자. 모르겠으면 가장 작은 모델부터.
아래 “내 RAM엔 이 모델” 추천기에서 내 메모리 크기를 누르면, 딱 맞는 모델 이름과 대략 용량이 뜬다. 모델 이름 복사 버튼까지 있으니, 이따 앱 검색창에 그대로 붙여 넣으면 된다.
이제 진짜로 들여보자 — 세 걸음
문틀을 쟀고, 들일 소파(모델)도 정했다. 이사는 세 걸음이면 끝난다. 앱 설치 → 모델 하나 내려받기 → 첫 대화.
1. 앱을 설치한다. 1순위는 LM Studio다. 완전한 GUI 앱이라, 앱 안에서 모델을 검색하고 다운로드하고 채팅까지 다 한다. 무료이고, 가입도 필요 없다. 공식 사이트에서 내 OS용 설치 파일을 받아 여느 앱처럼 설치하면 된다.
LM Studio의 맥 버전은 애플 실리콘(M1 이후) 칩 전용이다. 여기서 기준은 연식이 아니라 칩이다. 칩이 인텔이면 2020년, 2023년에 산 최신 인텔 맥이라도 LM Studio는 설치되지 않는다. 이 경우 Ollama 데스크톱 앱으로 가면 된다(인텔 맥 지원, 단 macOS 14 이상 필요). 내 맥이 어느 쪽인지 모르겠다면 사과 메뉴 → ‘이 Mac에 관하여’에서 칩 이름을 확인한다. 윈도우 사용자는 이 갈림길과 무관하니 그냥 LM Studio로 가면 된다.
Ollama는 원래 개발자들이 터미널로 쓰던 도구였지만, 이제는 클릭으로 쓰는 네이티브 데스크톱 앱을 낸다. 그러니 최신 맥이든 윈도우든, 터미널 없이 GUI로 가는 길이 열려 있다 — 인텔 맥도 Ollama로 열려 있다(단 macOS 14 이상). 아주 옛 버전(macOS 12/13)의 인텔 맥이라면 두 앱 모두 어려우니, 앞서 소개한 ★☆☆ 브라우저 오프라인 챗봇으로 첫 성공을 대신 맛보면 된다.
2. 모델 하나를 내려받는다. 앱의 모델 검색창에 아까 복사해 둔 이름(예: Llama 3.2 3B)을 붙여 넣고 다운로드를 누른다. 그리고 진행바가 끝날 때까지 기다린다. 여기서 첫 좌절이 온다 — “왜 이렇게 오래 걸려?” 정상이다. 멈춘 게 아니라 받는 중이다. 더 빨리 첫 성공을 보고 싶으면 한 단계 작은 모델부터.
3. 첫 대화를 건다. 다운로드가 끝나 초록불(또는 체크)이 뜨면, 채팅창에 아무거나 물어본다. 예를 들어 — “안녕, 넌 지금 어디서 돌아가고 있어?” 답이 돌아오는 순간, 이 문장은 남의 서버가 아니라 내 하드디스크에서 나왔다.
이 글의 절정이다. 위 다운로드 버튼으로 내 OS에 맞는 앱을 받고, 추천기가 준 이름으로 모델 하나를 내려받아, 첫 질문을 던져보자. 준비물은 노트북과 다운로드 동안만의 인터넷뿐. 가입도, 카드도, 터미널도 없다. 딱 첫 답 한 줄까지만 가보자.
💡 더 깊이 — 내 전용 비서로 키우기 ★★★
첫 대화가 성공했다면 두 가지를 더 해보자. 하나, 채팅 설정의 시스템 프롬프트에 내 비서의 성격을 심는다. 예: “너는 내 회의록을 요약하는 비서야. 항상 세 줄로 답해.” 그 순간 범용 모델이 내 전용 비서로 바뀐다. 둘, 한 단계 큰 모델을 하나 더 받아 같은 질문을 던져본다. 이 ‘속도 ↔ 똑똑함’ 저울질 감각이 3편으로 이어진다.
진짜 순간: 와이파이를 꺼보라
여기까지 왔다면 사실 이미 성공했다. 하지만 이 기사가 진짜로 당신에게 남기고 싶은 건 그다음 한 번의 클릭이다. 와이파이를 끈다. 또는 비행기 모드를 켠다. 그리고 다시 물어본다. AI는 아무 일 없다는 듯 대답한다.
이 순간이 오늘의 전부다. 인터넷이 끊겼는데도 답한다는 건, 이 AI가 어딘가 먼 서버에 문의하는 게 아니라 내 기계 안에 산다는 물리적 증거다. 앱을 껐다 켜도 받아둔 모델은 그대로 있다. 원한다면 시작 프로그램에 등록해, 컴퓨터를 켤 때마다 대기하는 상주 비서로 둘 수도 있다.
와이파이가 꺼진 채로 AI가 답한 그 화면을 캡처하자. 아래 완주 체크리스트 네 칸에 불이 다 켜지면 — 축하한다, 당신의 AI가 상주를 마쳤다. 그리고 그 화면을 #내AI비서로 세상에 건다. 이건 자랑이 아니라 다음 사람을 위한 이정표다.
마치며 — 이제 내 차고엔 AI가 산다
며칠 뒤, 통장에서 AI 구독료가 빠져나가던 그 날짜가 조용히 지나갈 것이다. 위 컴포저에 매달 내던 구독료를 넣어보면 1년에 얼마가 내 주머니에 남는지 숫자로 보인다. 하지만 진짜 달라진 건 돈이 아닐지도 모른다. 비행기 안에서, 지하에서, 산속 펜션에서도 내 AI는 나와 함께 있다.
물론 이 비서는 클라우드의 거인만큼 똑똑하진 않다. 그 정직한 맞바꿈은 이 호의 마지막 편 mine-but-dumber에서 정면으로 마주한다. 당신의 차고엔 이제 AI 한 대가 산다. 다음 계단에서는 이 비서에게 일을 시킬 차례다 — 내 문서만 아는 사서로 키우는 5편, 그리고 원리를 뜯어보는 3편. 오늘, 당신은 남의 집에서 내 집으로 AI를 들이는 데 성공했다.