이 편은 이 호의 정점이지만, 설치·인덱싱·비행기모드 인증을 실기기에서 아직 실측하지 못했습니다. 기술적 사실(무료·GUI·완전 오프라인·2편 모델 재사용·로컬 임베딩)은 공식 문서로 확인됐고, 본문·단계·위젯은 그대로 따라 하도록 준비했지만 — 아래 위젯의 완주 체크리스트·샘플 문서·디스코드 링크는 실기 확인/자산 생성 전입니다. 그래서 안내·단계·스크린샷 자리 중심으로 싣고, 완주 인증은 당신이 실제 도구로 직접 밟는 방식입니다(발행 노트에 “발행 전 실기기 1회 확인”을 남겨 뒀습니다).
폴더 하나를 떠올려 보자. 회사 계약서, 3년 치 회의록, 연봉 협상 메일 초안, 아무에게도 안 보여준 일기. 여기에 대고 “지난달 그 조항이 뭐였더라?” 하고 물으면 척척 찾아주는 AI가 있다면 얼마나 좋을까. 그런데 당신은 그 폴더를 어떤 AI에게도 열어준 적이 없다. 이유는 하나다. “이걸… 남의 서버에 올린다고?”
지난 편에서 우리는 내 컴퓨터에 AI 비서 한 대를 들였다. 오늘은 그 비서에게 내 서재의 열쇠를 준다. 내 문서만 읽고, 내 문서에만 근거해 답하고, 그 어떤 문장도 내 기계 밖으로 내보내지 않는 — 내 문서만 아는 사서 AI를 짓는다. 이 호에서 가장 높은 계단이자, 우리가 시작한 이사(移徙)의 마지막 방 한 칸이다.
솔직히 말하면 이건 이 호에서 손이 가장 많이 가는 편이다(그래서 ★★★이다). 하지만 겁먹지 말자. 오늘도 터미널은 안 연다. 모든 도구는 무료이고, 부담되면 언제든 가벼운 맛보기(★☆☆)로 먼저 성공을 맛보고 돌아오면 된다. 심지어 당신의 문서가 하나도 없어도, 우리가 준 샘플로 처음부터 끝까지 완주할 수 있다.
“이건 클라우드에 못 올리지”
지난 호에서 우리는 “내 노트로 답하는 AI”를 만들어 봤다 — 업계에선 이걸 RAG라 부른다. 편리하다. 그런데 딱 한 걸음에서 대부분 멈춘다. 그 문서를 어디에 올리느냐다. 회사 계약서엔 비밀 유지 조항이, 일기에는 남이 읽으면 곤란한 감정이 적혀 있다. 이 벽 앞에서 포기하지 말자. 서버에 안 올리면 된다. 사서를 내 집 안에 두고 내 서재만 읽게 하면 된다.
백문이 불여일견이다. 아래 “내 경로 찾기” 위젯에 두 가지만 답하면(2편을 했는지, 지금은 맛보기인지 제대로 만들기인지), 당신에게 딱 맞는 시작점을 짚어준다. 가장 가벼운 길은 — 올인원 앱 GPT4All 하나만 깔고, 작은 채팅 모델을 내려받은 뒤, 우리가 준 샘플 문서 3개를 폴더째 연결하고, 예시 질문 한 줄을 붙여넣는 것이다. (설치조차 부담되면, 1편의 브라우저 오프라인 챗봇부터 맛보고 오면 된다.)
사서 AI란 뭘까 — 다 외우는 천재가 아니라, 잘 찾는 사서
우리가 흔히 쓰는 챗봇은 다 외운 척하는 천재에 가깝다. 문제는 모르는 것도 아는 척 답한다는 거다. 이걸 환각(hallucination)이라 부른다. 진짜 사서는 다르게 일한다. 질문을 받으면 서가로 가서, 관련된 페이지를 직접 찾아 읽고, 그 페이지에 근거해 답한다. “이건 3층 저 책 47쪽에 있어요”라고 출처까지 짚어준다. 우리가 오늘 만들 AI가 바로 이 방식이다.
그럼 사서는 어떻게 그 넓은 서가에서 관련 페이지를 순식간에 찾아낼까? 비밀은 색인 카드다. AI 사서를 만들 때 이 “카드 만들기” 과정이 곧 인덱싱(indexing)이다. 내 폴더를 연결하면, 도구가 문서를 잘게 나눠 카드로 정리해 둔다.
💡 더 깊이 — 색인 카드는 ‘의미의 지문’(임베딩) 개념
이 색인 카드는 키워드가 아니라 의미로 정리됩니다. 도구는 각 문서 조각을 임베딩(embedding)이라는 과정을 거쳐 ‘의미의 지문’ 같은 숫자 목록(벡터)으로 바꿔 저장합니다. 그래서 “휴가 규정”이라 물어도 문서에 “연차 사용 지침”이라 적혀 있으면 말이 달라도 뜻이 같음을 알아챕니다. 이 지문 카드함을 담는 곳이 벡터 저장소죠. 핵심은 — 카드를 만드는 일(임베딩)도, 보관하는 서랍(벡터 저장소)도, 오늘 쓰는 도구 안에 로컬로 들어 있다.
그러니 사서 한 명을 고용하려면 세 가지가 필요하다. 답을 말로 풀어낼 두뇌(LLM), 문서를 카드로 정리하는 색인 도구(임베더), 그리고 카드를 보관할 서랍(벡터 저장소). 좋은 소식 — 이 셋 중 색인 도구와 서랍은 도구 안에 이미 다 들어 있다. 우리가 신경 쓸 건 두뇌 하나뿐이고, 그 두뇌마저 2편에서 들인 그 비서일 수 있다.
이 사서가 “인터넷을 꺼도 도는” 건 맞다. 단, 처음 한 번은 인터넷이 필요하다. 사서를 고용하는 날(도구 설치 + 두뇌 다운로드 + 색인 도구 준비)까지는 인터넷으로 짐을 다 받아야 한다. 그 짐을 다 받고 나면 — 그다음부터는 서재 문을 닫아걸어도 사서가 일한다. 다운로드가 끝나기도 전에 인터넷을 끊으면 사서가 멈춘다. “한 번 다 받은 뒤엔 오프라인”이 정답이다.
2편의 두뇌에, 이제 내 문서를 — 계단이 맞물리는 곳
2편에서 내 하드디스크에 들인 그 두뇌(Ollama나 LM Studio로 받은 로컬 모델)를, 오늘 그대로 재사용한다. 그런데 2편을 건너뛰고 이 편으로 바로 온 독자도 있을 것이다. 괜찮다. 튕기지 않는다. 오늘 쓰는 도구는 두뇌까지 품고 있어서, 아무것도 없이 와도 완주할 수 있다.
| 경로 A — 2편을 했다 | 경로 B — 2편을 건너뛰었다 | |
|---|---|---|
| 두뇌(LLM) | 2편에서 받은 로컬 모델(Ollama 또는 LM Studio)을 그대로 재사용. 해당 프로바이더만 골라 연결. 새로 안 받아도 됨. | 도구의 내장 두뇌를 그대로 쓰거나, 올인원 GPT4All에서 작은 모델 하나. |
| 색인 도구(임베더) | 도구 내장 임베더(로컬) — 별도 설치 0 | 동일. 도구 안에 로컬로 들어 있음 |
| 서랍(벡터 저장) | 도구 내장 저장소(로컬 파일) — 서버·계정 0 | 동일 |
| 한 줄 요지 | “2편의 두뇌 + 5편의 문서 = 완성된 사서” | “5편만으로도 도구 하나가 두뇌·색인·서랍을 다 해결” |
위 “내 경로 찾기” 위젯이 이 표에서 당신 자리를 짚어줬을 것이다. 어느 쪽이든 결론은 같다 — 내 문서 → 로컬 색인 → 로컬 서랍 → 로컬 두뇌가 답까지, 파이프라인 전체가 내 기계 안에서 닫힌다. 밖으로 나가는 문이 아예 없다.
사서를 고용하자 — 도구 고르기부터 첫 대답까지
이제 진짜로 짓는다. 확신이 안 서면 이 한 줄만 기억하자 — 맛보기는 GPT4All, 제대로는 AnythingLLM. 둘 다 무료·GUI·완전 오프라인이다.
| AnythingLLM 데스크톱 (정점 ★★★) | GPT4All (맛보기·올인원 ★☆☆~★★☆) | |
|---|---|---|
| 성격 | 제대로 된 ‘제2의 뇌’. 워크스페이스·출처 인용·사서 규칙·Ollama 연동 | 가장 단순. 앱 하나에 두뇌·색인·문서Q&A(LocalDocs)가 다 내장 |
| 두뇌 | 2편 Ollama/LM Studio 재사용 또는 내장 두뇌 | 앱 안에서 작은 모델 하나 다운로드 |
| 문서 연결 | 파일/폴더 드래그 → Embed | + Add Collection → 폴더 선택 |
| 받는 곳(공식·무료) | anythingllm.com | nomic.ai/gpt4all |
참고로 Jan 같은 다른 로컬 도구로도 비슷한 걸 시도할 수 있다. 다만 문서 Q&A 기능은 버전에 따라 완성도가 갈릴 수 있어, 오늘은 검증이 탄탄한 위 두 도구를 중심으로 간다.
여기가 오늘의 빌드 코어다. 아래 다운로드 버튼에서 내 경로에 맞는 앱을 받고, 문서가 없다면 샘플 꾸러미 .zip과 “예시 질문 복사” 버튼을 함께 눌러두자. 그리고 아래 다섯 걸음을 따라오면 된다.
- 도구 설치. 받은 설치 파일을 여느 앱처럼 설치한다. 윈도우 “PC를 보호했습니다”나 맥 “확인되지 않은 개발자” 경고가 떠도 놀라지 말자 — 공식 사이트에서 받았으면 안전하다(윈도우
추가 정보 → 실행/ 맥 앱 우클릭 → 열기). - 두뇌 연결. 경로 A: 설정의
LLM Provider에서Ollama또는LM Studio를 고르고, 그때 받은 모델을 선택한다. 경로 B: 첫 실행 마법사에서 내장 두뇌를 그대로 진행한다. - 서재 만들기.
New Workspace에 이름을 준다(예:내-사서). 워크스페이스는 이 사서가 읽을 책장 한 칸이다. - 내 폴더 연결·색인. 문서 영역에 파일이나 폴더를 드래그하고
Save and Embed를 누른다. 바로 여기서 로컬 색인 도구가 내 문서를 카드(벡터)로 정리한다. 첫 성공을 빨리 보고 싶으면 짧은 파일 한두 개나 샘플 3개부터. - 첫 질문. 채팅창에 내 문서에만 있는 사실을 물어본다. 예: “이 자료에서 다음 미팅 날짜가 언제라고 했지?” 답 아래의 출처(citation)를 펼쳐 보자. 어느 문서 어느 대목에서 왔는지 짚어준다. = 지어낸 게 아니라 내 문서를 찾아 읽고 답한 것.
여기서 첫 좌절이 올 수 있다. 색인이 오래 걸리거나, 출처 토글이 안 보이거나, 답이 조금 어설프거나. 다 정상이고, 다 넘을 수 있다. 지금은 딱 5단계, 첫 답 한 줄까지만 가보자.
진짜 순간: 인터넷을 끊고, 다시 물어라
여기까지 왔다면 이미 성공했다. 하지만 이 기사가 진짜로 당신에게 남기고 싶은 건, 그다음 딱 한 번의 확인이다. 회의적인 사람은 이렇게 의심할 수 있다. “혹시 몰래 어디 서버에 내 문서를 보내고 답을 받아온 거 아니야?” 프라이버시가 걸린 문제에선 논리로 안심하는 것보다 눈으로 확인하는 게 백 배 낫다.
비행기 모드를 켠다. (또는 와이파이와 이더넷을 모두 끈다.) 끊긴 걸 확인했으면 — 조금 전 그 질문을, 한 번 더 던진다. 사서는 아무 일 없다는 듯, 다시 내 문서에서 답을 찾아온다. 인터넷이 끊겼는데도 내 문서에서 답이 나온다는 건, 이 사서가 내 기계 안에서만 일한다는 물리적 증거다. 이게 당신이 오래 기억할 그 장면이다.
아래 완주 체크리스트로 인증하자. 비행기 모드를 켜고, 방금 질문을 다시 던져 여전히 내 문서에서 답이 오면, 체크리스트 네 번째 칸(“인터넷 0에서도 답한다”)에 불이 켜지고 “🔒 내 문서 사서 완성” 배지가 뜬다. 비행기 모드 표시와 AI의 답이 한 화면에 잡히게 스크린샷을 남겨두자. (다운로드가 다 끝나기 전에 인터넷을 끊으면 답이 안 나온다. 경로 A라면 Ollama가 실행 중인지도 확인.)
💡 더 깊이 — 과정으로 관찰하기(네트워크 모니터) ★★★ 보너스
비행기 모드가 “결과로 증명”이라면, 한 걸음 더 “과정으로 관찰”할 수도 있다. 인터넷을 다시 켠 채, 질문을 던지는 순간 그 앱이 바깥으로 데이터를 보내는지를 눈으로 지켜보는 것이다. 추가 설치는 없다. 윈도우는 리소스 모니터 → 네트워크 탭, 맥은 활성 상태 보기 → 네트워크 탭을 연다. 질문하는 순간 해당 앱 프로세스의 ‘보내기(전송) 바이트’가 튀지 않으면 = 내 문서가 밖으로 안 나갔다는 걸 실시간으로 본 것이다.
사서에게 규칙을 주자 — “모르면 지어내지 마” (★★★ 마무리)
한 가지만 더 하면 진짜 사서가 완성된다. 아직 우리 사서에겐 나쁜 버릇이 남아 있을 수 있다 — 내 문서에 없는 걸 물으면, 여전히 아는 척 지어낼 수 있다. AnythingLLM이라면 워크스페이스 설정의 시스템 프롬프트 칸에 이렇게 적어보자.
너는 내 문서 사서다. 내 자료에 근거가 있을 때만 답하고, 없으면 "내 자료엔 없습니다"라고 말해. 답에는 항상 출처 문서를 붙여.
이제 서재에 없는 걸 물어보자. 사서가 그럴듯한 거짓말 대신 “내 자료엔 없습니다”라고 답하면 — 축하한다. 환각을 억제한, 믿을 수 있는 사서가 완성됐다. 이 한 줄이 “그냥 챗봇”과 “내 문서만 아는 사서”를 가른다.
이제, 그동안 못 맡겼던 질문 하나
그동안 “이건 클라우드에 못 올리지” 하고 삼켰던 바로 그 질문. 연봉 협상 메일의 톤, 계약서의 독소 조항, 일기 속에 엉킨 감정 — 뭐든 좋다. 이제 그 질문을, 비행기 모드로 내 사서에게 던져보자. 인터넷이 끊긴 화면에서 답이 돌아오는 걸 보면, 머리로 알던 안심이 마음의 안심으로 바뀐다. “아, 정말 밖으로 안 나가는구나.”
그 경험을 한 줄로 남겨보자. 아래 공유 컴포저에 문서 수·도구·주제만 채우면 문구가 완성된다. 민감한 내용은 적지 않아도 된다 — 이 미션의 핵심은 ‘무엇을 물었나’가 아니라 ‘밖으로 안 나갔다’니까. 이건 자랑이 아니라 다음 사람을 위한 이정표다.
마치며 — 내 집엔 이제 서재가 있다
이 호를 처음부터 따라왔다면, 지금 당신 손에는 인터넷을 꺼도 도는 “내 것” AI가 여러 대 있다. 브라우저 탭 안의 오프라인 챗봇, 하드디스크에 상주하는 비서, 밖으로 안 나가는 받아쓰기 도구 — 그리고 오늘, 내 문서만 아는 사서까지. 오늘로 서재의 불이 켜졌다.
물론 이 사서도 클라우드의 거인만큼 똑똑하진 않다. 그 정직한 맞바꿈은 이 호 마지막 편 mine-but-dumber에서 함께 마주한다. 하지만 오늘의 목표는 완벽함이 아니었다. 회사 자료도, 일기도, 이제는 맡길 수 있다 — 그거였다. 다음 계단은 가볍다. 새로 설치할 것도 없이, 이미 당신 주머니 속에 들어와 있던 AI를 깨우는 6편으로 가보자.