메모리보다 큰 AI 모델을 노트북에서… 로컬 LLM 실행기 Janas, 직접 돌려 봤어요

결론부터 말하면, ‘램이 모자라면 큰 모델은 못 돌린다’는 상식에 금이 가기 시작했어요. 개발자 말고 다른 사람들의 컴퓨터에서도 메모리보다 큰 모델이 실제로 돌았다는 보고가 올라왔어요(사용자 반응). AIMAG가 직접 해 보니, 남은 메모리의 두 배쯤 되는 모델도 답을 냈어요(직접 실행). 다만 아직 실험 단계라 속도와 안정성은 컴퓨터마다 크게 달라요(공식).

용어부터 짧게 풀게요. 로컬 LLM은 인터넷 서비스 대신 내 컴퓨터에서 직접 돌리는 대형 언어 모델이에요. MoE(전문가 혼합)는 모델 안을 여러 ‘전문가’ 묶음으로 나눠, 단어 하나를 만들 때 그중 일부만 쓰는 구조예요. Janas는 이 점을 이용해요. 자주 쓰는 전문가는 메모리에 두고, 나머지는 필요할 때 SSD에서 읽어 와요(공식).

무엇이 확인됐나요?

개발자는 README(저장소 첫 안내문)에서 48.4GB짜리 Qwen3-Next-80B 모델을 메모리 32GB 노트북에서 돌렸다고 밝혔어요(공식). 모델 파일이 메모리보다 커요. 이 주장은 다른 사람의 보고로도 확인됐어요. 한 이용자는 메모리 30.7GiB인 인텔 i7-1365U 노트북에서 그래픽카드 없이 같은 80B 모델을 돌렸어요(사용자 반응, 깃허브 이슈 #5·#9). GiB는 1,024를 단위로 센 용량이라 30.7GiB는 약 33GB예요.

이 이용자는 26만 토큰 분량의 문서 곳곳에 문장 3개를 숨겨 두고 찾게 했어요. 토큰은 AI가 글을 잘게 나눠 읽는 단위예요. 모델은 3개를 모두 정확히 찾았어요(사용자 반응, 이슈 #9). 대신 문서를 다 읽는 데 15시간 정도이 걸렸어요(사용자 반응, 이슈 #9). ‘돌아간다’와 ‘쓸 만하다’는 다르다는 뜻이에요(추정).

개발자는 같은 노트북에서 모든 비교 모델이 llama.cpp보다 빨랐다고 적었어요(공식). llama.cpp는 로컬 LLM을 돌릴 때 가장 널리 쓰이는 오픈소스 실행기예요. 그런데 다른 이용자의 비교는 결과가 갈렸어요. 메모리 64GB 노트북에서는 30B(매개변수 300억 개) 모델은 llama.cpp가 확실히 더 빨랐고, 80B 모델은 비슷했다고 해요. 142GB짜리 235B 모델처럼 메모리보다 훨씬 클 때만 Janas가 앞섰다고 보고했어요(사용자 반응, 이슈 #13, RTX 4070 노트북용 그래픽카드, 235B는 그래픽카드 없이 실행). 그래서 이 기사에는 개발자만 잰 llama.cpp 대비 속도 숫자는 싣지 않았어요.

AIMAG가 직접 해 보니

AIMAG가 직접 해 보니, 메모리가 모자란 컴퓨터에서도 모델이 돌았어요(직접 실행). 오후 6시 15분(한국 시간)에 최신판을 받아 6시 33분에 실행했어요. 받은 파일은 공개된 SHA-256 값과 일치했어요(직접 실행). SHA-256은 파일이 중간에 바뀌지 않았는지 확인하는 지문 같은 값이에요.

쓴 컴퓨터는 그래픽카드 없는 8코어 인텔 제온 서버예요. 전체 메모리는 15.6GiB이고, 시작할 때 남은 메모리는 6.4GiB(약 6.9GB)였어요. 모델은 13.8GB짜리 Qwen3-30B-A3B 3비트판이에요(직접 실행). 3비트판은 모델 숫자를 줄여 담아 파일을 작게 만든 버전이에요.

내장 측정 도구 janas-bench로 2회 잰 결과는 이래요(직접 실행).

대화 도구 janas-chat에 “한국의 수도는 어디인가요?”라고 물었더니 “한국의 수도는 서울입니다.”라고 바르게 답했어요(직접 실행). 초당 3.1토큰은 한글로 치면 한 문장에 몇 초씩 걸리는 속도예요(추정). 읽기에는 답답하지만, 이 컴퓨터에서는 원래 아예 띄우기 어려운 크기였다는 점이 중요해요(추정).

한국 사용자에게는 무엇이 달라지나요?

그래픽카드나 메모리를 늘리지 않고도 큰 공개 모델을 시험해 볼 길이 생겼어요(추정). 고가 장비 없이 회사 문서를 외부로 보내지 않고 다루려는 소규모 팀이 먼저 관심을 가질 만해요(추정). 메뉴와 안내문은 영어지만, 한국어 질문에는 모델이 한국어로 답했어요(직접 실행). 다만 맥은 지원하지 않고, 공식 시험 장비는 개발자 노트북 한 대뿐이에요(공식).

대단한 점과 아쉬운 점

확장성

Janas에는 대화 도구 말고도 OpenAI 방식의 HTTP 서버, 코드 편집기 자동완성 연결, MCP 서버 기능이 들어 있어요(공식). MCP는 AI 도구가 외부 프로그램과 정해진 방식으로 주고받게 하는 연결 규격이에요. 그래서 이미 쓰는 편집기나 에이전트 도구에 내 컴퓨터의 모델을 붙여 볼 수 있어요(공식 내용 기준 추정). 개발자는 다른 장비의 측정 보고를 가장 원한다고 적었어요(공식). 보고가 쌓이면 AMD 칩이나 느린 SSD에서 어떤지도 드러날 거예요(추정).

로컬에서 모델을 돌리는 다른 방법은 트랜스포머스 GGUF 지원 기사에서 볼 수 있어요. 공개 모델이 왜 중요해지는지는 알레프 알파 콜리브리 기사에서 볼 수 있어요.

아직 모르는 것

• 그래픽카드를 단 데스크톱이나 AMD 칩에서 얼마나 빠른지는 보고가 적어요(사용자 반응).
• SSD를 계속 세게 읽는 방식이 SSD 수명에 어떤 영향을 주는지는 밝혀진 자료가 없어요(추정).
• 개발자 혼자 만드는 프로젝트라, 앞으로 얼마나 꾸준히 관리될지는 알 수 없어요(추정).

자주 묻는 질문

MoE 모델 뜻이 뭔가요?

모델 안을 여러 전문가 묶음으로 나누고, 단어 하나를 만들 때 그중 일부만 쓰는 구조예요. 이번에 돌린 Qwen3-30B-A3B는 전체 300억 개 매개변수(모델이 학습으로 익힌 숫자) 가운데 약 30억 개만 매번 쓴다는 뜻의 이름이에요.

로컬 LLM 사양은 어느 정도 필요한가요?

보통은 모델 파일보다 메모리가 커야 해요. Janas는 그 조건을 낮췄지만, 대신 빠른 NVMe SSD가 필요하고 속도는 느려질 수 있어요. 개발자는 janas-bench로 내 컴퓨터를 먼저 재 보라고 권해요.

로컬 LLM 램 용량은 얼마나 돼야 하나요?

Janas로는 메모리 약 33GB(30.7GiB) 노트북에서 48.4GB 모델이 돌았다는 보고가 있어요. AIMAG 시험에서는 남은 메모리 약 6.9GB로 13.8GB 모델이 초당 3.1토큰으로 돌았어요.

llama.cpp vs ollama, 무엇이 다른가요?

llama.cpp는 모델을 돌리는 실행기이고, 올라마는 그 위에서 모델 받기와 실행을 쉽게 해 주는 도구예요. Janas는 둘과 별개로 처음부터 새로 만든 실행기예요. llama.cpp 코드는 쓰지 않았다고 밝혔어요.

Qwen3 30B A3B VRAM은 얼마나 필요한가요?

VRAM은 그래픽카드에 달린 전용 메모리예요. Janas로는 그래픽카드가 없어도 돌았어요. AIMAG는 그래픽카드 없이 3비트판(13.8GB)을 돌렸어요. 그래픽카드 메모리에 모두 올리려면 보통 파일 크기 이상의 VRAM이 필요해요.

출처

1. prabanta-dev/janas 깃허브 저장소 README·릴리스 v2026.10.12.1(게시 2026-10-12 14:34 UTC, 확인 2026-10-13 18:35 KST) — 링크
2. 깃허브 이슈 #5·#9(30.7GiB 노트북 80B 모델 긴 문서 시험), #13(64GB 노트북 비교) — 링크
3. AIMAG 직접 실행: janas-bench·janas-chat, Qwen3-30B-A3B 3비트, 2026-10-13 18:33~18:36 KST

대표 이미지: AIMAG가 AI로 생성

구글 검색에서 AIMAG 소식을 먼저 보려면

AI 보조 초안 · 편집부 검수