회사 회의록을 통째로 붙여넣으려다, 전송 버튼 위에서 손가락이 3초쯤 멈칫한 적 있는가. “이거… 대체 어디로 가는 거지?”
그 찜찜함은 기분 탓이 아니다. 당신이 AI 채팅창에 친 모든 문장은 지금 이 순간에도 어딘가의 거대한 서버로 날아가, 남의 컴퓨터 안에서 답이 만들어져 되돌아온다. 편리하다. 그런데 편리한 만큼, 내 문장은 잠깐이라도 내 손을 떠난다.
우리는 그걸 당연하게 여긴다. “AI는 원래 남의 서버에서 도는 거니까.” 지난 호에서 우리가 그랬던 것처럼 — 남의 서버에 API 키를 쥐여 주고, 내 데이터를 실어 보내고, 매달 요금을 냈으니까.
그런데 오늘, 그 상식을 당신의 두 손으로 깨보려 한다. 설치도 가입도 카드 등록도 없이, 링크 하나로 브라우저 탭 안에 진짜 언어모델을 띄운다. 그리고 마지막에 — 와이파이를 끈다. 인터넷이 끊긴 노트북에서 AI가 그대로 대답하는 순간, “AI = 남의 서버”라는 상식은 논리가 아니라 눈앞의 사실로 무너진다.
AI가 꼭 ‘남의 집’에 살아야 할 이유는 없다
지금까지 AI를 쓴다는 건 이런 그림이었다. 나는 내 방에 있고, AI는 저 멀리 데이터센터라는 남의 집에 산다. 뭔가 물어보려면 내 말을 편지에 적어 그 집으로 부치고, 답장을 기다린다. 편지가 오가려면? 당연히 우편망 — 인터넷 — 이 연결돼 있어야 한다.
이 비유는 대체로 맞다. 다만 딱 하나가 바뀌면 그림이 통째로 달라진다. AI라는 손님을, 내 방으로 초대해버리면? 편지도 우편망도 필요 없다. 옆방에 있는 사람에게 말을 거는 것과 같으니까.
바로 그걸 해주는 도구가 있다. WebLLM이라는 기술이다. 요즘 브라우저에는 컴퓨터의 그래픽 성능(GPU)을 웹페이지가 직접 빌려 쓸 수 있는 WebGPU라는 통로가 뚫렸다. 원래 게임 그래픽을 그리라고 만든 힘인데, AI 모델을 돌리는 계산에도 딱 맞는다. WebLLM은 이 통로를 이용해, 서버를 거치지 않고 당신의 브라우저 탭 안에서 언어모델을 직접 굴린다.
말이 어렵게 들려도 괜찮다. 당신이 할 일은 링크를 여는 것뿐이다.
지금 바로, 아래 데모에서 커다란 “AI 켜기” 버튼을 누르세요. 위젯이 이 브라우저에서 켤 수 있는 가장 좋은 AI를 알아서 찾습니다(플래그 만질 일 없어요). 다운로드 막대가 차오르기 시작하면 — 잠깐 손을 떼고, 이 글로 돌아오세요. 그 막대가 차는 동안 읽으라고 준비한 이야기가 있습니다.
💡 더 깊이 — WebLLM·WebGPU·양자화 개념
WebLLM은 MLC-LLM 프로젝트가 만든 브라우저용 추론 엔진입니다. 모델은 미리 양자화(quantization)돼 있어요 — 쉽게 말해, 모델의 숫자들을 더 성긴 단위로 압축해 용량을 확 줄이는 기술입니다. 그래서 원래 수 GB짜리 모델이 1GB 안팎까지 작아져 브라우저에 들어옵니다. WebGPU는 2026년 기준 데스크톱 Chrome·Edge와 최신 Safari·Firefox에서 널리 지원되지만, 모든 기기가 되는 건 아닙니다. 화면이 안 뜨면 데스크톱 크롬·엣지 최신 버전으로 여는 게 가장 확실합니다. (“왜 작게 눌러도 똑똑함이 안 무너지나”는 3편 거대한 AI가 어떻게 내 노트북에에서 슬라이더로 직접 만집니다.)
다운로드 막대가 차는 동안 — 왜 딱 한 번만 받으면 될까
막대가 차고 있나. 보통 3~7분, 인터넷 속도에 따라 더 걸릴 수도 있다. 지금 내려오고 있는 건 대략 1GB 안팎(모델에 따라 0.5~1.2GB)의 모델 파일 하나다. 조금 큰 것 같지만, 딱 한 번이면 된다. 왜 한 번뿐일까? 여기가 이 기사의 핵심 원리다.
음악 앱을 떠올려 보자. 스트리밍은 노래를 들을 때마다 인터넷으로 조금씩 받아온다. 인터넷이 끊기면 음악도 멈춘다. 반면 다운로드해서 소장한 곡은 처음 한 번만 내 폰에 저장해두면, 비행기 안에서도 재생된다.
지금 이 다운로드가 바로 후자다. 모델 파일이 당신의 브라우저 저장소에 통째로 저장되는 중이다. 한 번 저장되면, 두 번째부터는 인터넷에서 다시 받지 않고 그 저장본을 그대로 꺼내 쓴다. 그래서 — 짐작했겠지만 — 와이파이를 꺼도 도는 것이다. 노래를 이미 내 폰에 받아놨으니 비행기 안에서도 들리는 것과 똑같은 이치다.
한 가지만 정확히 짚자. 이 저장본은 지금 이 사이트에서만 재사용된다. 그리고 브라우저의 방문기록·캐시를 지우면 저장본도 함께 사라져, 다음엔 다시 받아야 한다. 소장한 곡도 폰을 초기화하면 사라지는 것과 같다.
💡 더 깊이 — 모델은 어디에 저장될까 실무자용
모델이 저장되는 곳은 브라우저의 Cache Storage(캐시 스토리지)라는 저장소입니다. 웹페이지가 큰 파일을 기기에 지속적으로 보관할 수 있게 해주는 공간이죠. 재사용이 “같은 사이트에서만” 되는 건 브라우저의 보안 원칙(같은 출처, same-origin) 때문입니다. 파보고 싶다면, 나중에 개발자도구(F12) → Application 탭 → Cache Storage → webllm/model에서 저장된 모델 조각들을 직접 눈으로 볼 수 있습니다.
막대가 다 찼는가. 그럼 이제 아무거나 물어보자. “자기소개 해줘” 같은 것도 좋다. 답이 돌아온다. 이 답은 저 멀리 데이터센터가 아니라, 지금 당신 앞에 있는 그 기계가 직접 계산해서 만든 것이다. 조금 느리거나 답이 뚝뚝 끊겨도 놀라지 마라. 남의 초고속 서버가 아니라 내 노트북이 제 힘으로 생각하고 있다는, 오히려 반가운 증거다.
이제, 와이파이를 끄세요
여기가 이 기사의 절정이다.
지금까지는 인터넷이 연결된 상태였다. 그러니 회의적인 사람은 이렇게 말할 수 있다. “그거 그냥 몰래 서버로 보낸 거 아니야?” 좋은 의심이다. 그 의심을, 지금 물리적으로 끝장내자.
탭을 그대로 둔 채, 노트북 와이파이를 끄세요. (폰이라면 비행기모드를 켜세요.) 인터넷이 완전히 끊긴 걸 확인하세요. 그리고 — 새 질문을 하나 더 던지세요.
위 데모에서 방금 그대로 하면 됩니다. 인터넷을 끊었는데도 AI가 대답하는 순간이 이 활동의 전부예요. 딱 하나만 주의하세요 — 오프라인 상태에서 페이지를 새로고침하지 마세요. 같은 탭을 그대로 두고 질문만 입력하면 됩니다. 응답이 오면 위젯이 “OFFLINE VERIFIED ✅” 배지를 찍어줍니다. 비행기모드 아이콘과 AI의 답이 한 화면에 잡히게 스크린샷을 남겨 #오프라인AI로 공유해 보세요.
대답이, 왔는가.
잠깐 이 사실을 곱씹어 보자. 방금 당신이 친 문장은 어디로도 갈 수 없었다. 네트워크가 끊겨 있으니까. 나갈 길이 물리적으로 없었다. 그런데도 답이 왔다. 그렇다면 답을 만든 건 오직 하나뿐이다 — 당신 앞의 이 기계. 당신의 문장은 이 방을 한 발짝도 벗어나지 않았다.
이게 이 글이 처음부터 증명하려던 한 문장이다: 내 말은 내 기계 밖으로 나가지 않는다.
방금, 무슨 일이 일어난 거냐면
도입부에서 손가락이 멈칫하던 그 찜찜함, 기억하는가. “이거 어디로 가는 거지?” 방금 당신은 그 질문에 스스로 답했다. 와이파이를 끊고도 대답이 오는 AI에게는, 애초에 “어디로 갈” 곳이 없다. 갈 곳이 없으니 새어 나갈 것도 없다. 회의록도, 일기도, 비밀번호가 섞인 메모도 — 붙여넣기 전에 멈칫할 이유가 사라진다.
물론 정직하게 말하자. 이 작은 모델은 클라우드의 거대한 AI만큼 똑똑하진 않다. 답이 어설플 때도, 한국어가 매끄럽지 않을 때도 있다(질문 끝에 “한국어로 답해줘”를 붙이면 나아진다). 속도도 내 기계 성능만큼이다. 이건 로컬 AI의 정직한 한계이고, 이 호의 마지막 기사 mine-but-dumber에서 정면으로 마주할 이야기다. 하지만 오늘의 목표는 완벽함이 아니었다. “내 것으로, 내 안에서 돈다” — 그거였고, 당신은 방금 그걸 손에 쥐었다.
한 가지 더. 이건 당신만 느낀 찜찜함이 아니다. AI에 뭔가를 붙여넣기 직전 손이 멈칫한 경험은, 생각보다 훨씬 많은 사람이 공유하는 순간이다.
아래 위젯의 질문에 한 번만 답해 보세요 — “AI에 뭔가를 붙여넣기 직전, 손이 멈칫했던 순간이 있나요?” 보기 중 하나를 클릭하면, 다른 독자들의 답 분포가 막대그래프로 나타납니다. 가입도 로그인도 필요 없어요. “나만 그런 게 아니었네” — 그 확인이, 방금의 물리적 안심을 마음의 안심으로 바꿔줍니다.
마치며 — 손님을 초대했으면, 이제 방을 내줄 차례
당신은 방금, 링크 하나로 AI를 잠깐 내 방에 초대했다. 탭을 닫으면 이 손님은 조용히 물러난다(모델 저장본은 남아, 다음에 다시 열면 빠르게 돌아온다). 설치도, 가입도, 카드도 없이 여기까지 온 것 자체가 — Vol.1에서 남의 서버에 API 키를 쥐여 주던 것과는 정반대의 첫걸음이다.
그런데 잠깐 초대하는 것과, 아예 방 한 칸을 내주고 상주시키는 것은 다르다. 브라우저 탭을 넘어, 내 컴퓨터에 늘 켜져 있는 나만의 AI 비서를 들이려면? 그것도 터미널 없이, 클릭 몇 번으로?
다음 기사 bring-ai-home — 내 컴퓨터에 AI를 들이다에서, 잠깐 온 손님을 아예 우리 집 식구로 맞이한다. 오늘 당신이 깨뜨린 상식은 시작일 뿐이다. AI의 이사(移徙)는, 이제 막 첫 삽을 떴다.