느리다. 가끔 엉뚱한 답을 한다. 클라우드의 그 똑똑한 AI에 비하면, 내 노트북 안의 AI는 솔직히 좀 멍청하다. 그런데 나는 오늘도 클라우드 대신, 이 멍청한 녀석에게 먼저 말을 걸었다.
왜 그랬을까. 이 글은 그 이상한 선택을 변호하려는 글이 아니다. 오히려 그 반대다. 우리는 여기서 로컬 AI의 흠을 하나도 숨기지 않고 정직하게 저울에 올릴 것이다. 그리고 저울이 당신에게 “그냥 클라우드에 남아요”라고 말해도, 그것이 부끄러운 답이 아니라는 걸 함께 확인할 것이다.
이 글은 Vol.2의 마지막 문이다. 지난 여섯 편에서 우리는 브라우저 안의 오프라인 챗봇을 띄웠고, 내 컴퓨터에 상주하는 비서를 들였고, 목소리가 밖으로 안 나가는 받아쓰기 도구를 만들었고, 내 문서만 아는 사서를 세웠고, 주머니 속에 이미 있던 AI를 깨웠다. 손을 다섯 번 움직여 “내 것” AI들을 하나씩 집에 들인 셈이다. 오늘 마지막으로 움직일 것은 손이 아니라 마음이다.
“좀 멍청하다”는 말부터 인정하고 시작하자
과대광고부터 걷어내자. 인터넷 어딘가엔 “이제 GPT를 내 노트북에서!”라는 문구가 떠다니지만, 현실은 그렇게 매끈하지 않다. 내 기기에서 도는 작은 모델은 클라우드의 거대한 모델보다 느리고, 어려운 문제 앞에서 더 자주 헛다리를 짚는다. 이건 흠이 아니라 물리다.
비유하자면 이렇다. 클라우드 AI는 배달 음식이다. 전문 주방의 셰프가 빠르게, 늘 일정한 맛으로 차려 준다. 로컬 AI는 내 부엌에서 직접 하는 요리다. 다만 “직접 하는 요리 = 맛없다”는 아니다. 이메일 다듬기, 회의 메모 정리, 문장 고쳐 쓰기 같은 일상의 대부분은 작은 모델로도 충분히 된다. 그러니 정확히 말하면 — 로컬 AI는 “못 하는” 게 아니라, “가끔 덜 똑똑하고 느린” 것이다.
💡 더 깊이 — 왜 하필 작으면 멍청해질까 개념
모델의 “똑똑함”은 대략 파라미터 수(두뇌의 뉴런 수에 해당)와 관련이 있고, 그걸 내 기기에 넣으려면 양자화로 정밀도를 낮춰 용량을 줄입니다. 그 과정에서 미세한 판단력이 조금씩 깎입니다. 이 맞바꿈(용량↔품질)을 슬라이더로 직접 만져 본 게 이 호 3편 will-it-run이었습니다. 오늘 계산기의 “품질” 항목이 바로 그 트레이드오프의 감정적 번역판입니다.
그렇다면 질문은 하나로 좁혀진다. 덜 똑똑하고 느린 걸 알면서도, 사람들은 왜 그 불편을 감수하고 AI를 집으로 들였을까. 답을 설득으로 들이밀기 전에, 먼저 당신의 숫자부터 보자.
아래 「내 것 손익계산서」에서 다른 건 다 두고 “내 월 AI 구독료” 슬라이더 하나만 밀어 보자(도구 칩만 눌러도 자동 합산). 그 순간 “연 ◯◯원 · 3년 ◯◯원”이라는 큰 숫자가 뜬다. 남의 유튜브 후기가 아니라, 내 지갑의 숫자다. 구독료가 0원이어도 괜찮다 — 계산기는 정직하게 “절약은 없지만 다른 이유가 있다”고 말해 줄 거다.
내 경우엔 얼마나 이득일까 — 저울의 양쪽을 다 보자
숫자를 봤다면, 이제 저울이 정직해야 할 차례다. 로컬로 갈아탈 때 버는 것만 늘어놓으면 그건 과대광고고, 드는 것만 늘어놓으면 그건 체념이다. 계산기는 양쪽 장부를 다 펼쳐 놓고, 무게는 당신이 매기게 한다.
여기서 중요한 건, 이 숫자들이 정답이 아니라 참고값이라는 점이다. 구독료 프리셋도 어림값이고 환율도 변한다. 계산기가 최종적으로 쓰는 건 오직 당신이 직접 조정한 값이다. 그러니 “이 서비스는 원래 얼마”라는 단정에 기대지 말고, 내 실제 지출로 고쳐 넣자.
💡 더 깊이 — “구독은 매달, 하드웨어는 딱 한 번” 개념
계산기의 [더 깊이] 패널을 펼치면 이 비대칭이 눈에 들어온다. 구독료는 매달 꼬박꼬박 빠져나가지만, 하드웨어나 셋업은 딱 한 번이다. 그래서 새 기기를 사더라도 “몇 개월이면 아낀 구독료로 본전을 뽑는지”(손익분기)가 계산된다. 이 값들도 참고값이니, 슬라이더로 내 실제 상황에 맞춰 조정하면 된다.
로컬이 만능도, 클라우드가 정답도 아니다
이제 이 글에서 가장 중요한 문단이다. 저울에 양쪽을 다 올리고 나면, 계산기는 당신에게 셋 중 하나의 판정을 내민다.
- 🏠 내 집으로 들일 만하다 — 구독료도 아깝고, 프라이버시도 중요하고, 기존 기기로 충분한 경우.
- 🔀 하이브리드가 정답 — 민감하고 반복적인 일은 로컬로, 정말 어려운 일만 클라우드로. 사실 가장 많은 사람이 여기다.
- ☁️ 지금은 클라우드에 남는 게 이득 — 무료 티어라 아낄 구독료가 없거나, 매번 최고 품질이 꼭 필요하거나, 기기가 약해 새로 사야 하는 경우.
그리고 분명히 말하고 싶은 게 있다. 당신의 판정이 ☁️로 나와도 전혀 괜찮다. 이 계산기는 로컬로 등을 떠미는 권유기가 아니라, 당신 상황을 재는 저울이다. 늘 🏠만 나오는 저울은 고장 난 저울이다. ☁️ 판정은 “당신은 클라우드를 잘 쓰고 있다”는 유효한 결론이고, 그건 부끄러운 게 아니라 직접 셈해 본 사람만 얻는 자신감이다.
이제 구독료 아래의 상황 슬라이더를 당신에게 맞춰 보자 — 프라이버시 민감도 · 오프라인 필요 · 소유·제어 · 품질 요구. 슬라이더를 움직이면 아래에 🏠·🔀·☁️ 중 하나가 뜬다. 셋 다 정직한 답이다. 마지막으로 [내 손익 카드 만들기]를 누르면, 내 판정이 한 장에 담긴다.
그런데 왜, 느린데도 마음이 놓일까
여기까지가 이성이었다. 이제 감정 이야기를 해야겠다.
솔직히 고백하면, 나도 처음엔 이 모든 게 유난스럽게 느껴졌다. “그냥 클라우드 쓰면 되지, 뭐 하러 느린 걸 굳이.” 로컬 모델을 처음 깔았을 땐 답 하나 기다리는 몇 초가 답답해서, 결국 도로 클라우드 탭을 열었다. 한 번은 깔았다가 지웠다. 그러다 다시 깔았다.
무엇이 나를 돌아오게 했을까. 돈은 아니었다. 아낀 구독료보다 아낀 마음이 더 컸다. 계기는 사소했다. 밤에 두서없는 개인적인 메모를 정리하다가, 문득 “이걸 남의 서버에 통째로 붙여넣고 있구나” 하는 생각이 들었다. 그날 이후로 그런 종류의 일—일기 같은 메모, 아직 설익은 아이디어, 민감한 회의록—은 느려도 내 노트북 안의 녀석에게 맡기기 시작했다. 답은 좀 뻣뻣해도, 이 대화가 내 방을 떠나지 않는다는 사실이 이상하게 마음을 놓이게 했다.
사람들이 AI를 집에 들인 이유는 대개 넷 중 하나다. 🔒 프라이버시, 💰 비용, ✈️ 오프라인, 🏠 소유·제어. 당신을 움직인 이유는 아마 이 중 하나였을 거다. 아니면, 넷 다 아니어서 클라우드에 남았을 수도 있다. 그것도 하나의 정직한 이야기다. 그리고 여기서 문득 궁금해진다. 나만 이런 마음일까?
방금 만든 손익 카드를 들고, 아래 「왜 나는 AI를 집에 들였나(또는 안 들였나)」 사연 벽으로 넘어가자. 가입도, 실명도 없다. 나를 가장 크게 움직인 이유 하나에 투표하면, 그 즉시 “당신처럼 [비용]을 1순위로 꼽은 사람이 N%”라는 분포가 뜬다. 이 벽은 로컬로 옮긴 사람만의 벽이 아니다. “나는 재보고 클라우드에 남았다”는 한 줄도 똑같이 환영이다.
마치며 — 이사의 끝에서
이 호는 처음부터 하나의 이사였다. 남의 집(클라우드)에서 살던 AI를, 내 집으로 들이는 이사. 이삿짐을 세어 보자.
지난 호에서 빌려 쓰던 AI를, 이제 소유하게 됐습니다.
그 AI들은 클라우드 거인만큼 똑똑하지 않다. 느리고, 가끔 틀린다. 하지만 내 데이터를 지키고, 매달 돈을 요구하지 않고, 인터넷이 끊겨도 곁을 지킨다. 그리고 무엇보다, 남의 것이 아니라 내 것이다.
그러니 오늘의 마무리는 판정을 강요하는 문장이 아니다. 당신이 셈해 본 결과가 🏠였든, 🔀였든, ☁️였든 상관없다. 중요한 건 이제 당신이 남의 후기가 아니라 자기 숫자와 마음으로 그 선택을 했다는 것이다. 그 판정을 사람들의 벽에 한 줄로 걸어 두자. 당신의 정직한 한 줄이, 다음 이사를 고민하는 누군가에게 등불이 된다.
느려도 내 것이라, 마음이 놓인다.
#느려도내것