AI1 로컬 LLM을 Hermes Agent에 붙일 때 토큰 낭비 없이 끝내는 법 (Qwen과 Hermes 연동기) 1. 시작 전에 "하드웨어"부터 말하라. 나는 Hermes Agent(데스크톱 앱, Windows 11, RTX 3060 12GB)에 로컬 LLM을 붙이려 했다. 처음엔 Qwen Code를 떠올렸지만 그건 로컬이 아니었고, "Hermes에 잘 맞는 로컬 LLM"을 찾아보니 메모리가 큰 환경이면 GLM 계열, 단일 GPU면 Qwen 계열이 갈림길이었다. 결국 Ollama로 qwen3-coder:30b을 골랐는데, 정작 30B(약 18GB)는 12GB GPU에 다 안 들어간다는 걸 한참 뒤에야 알았다. 시작부터 GPU VRAM을 밝히고 모델을 골랐다면 절반은 줄였을 일이다. → 본인의 AI에게 미리 물어보세요: "내 GPU는 VRAM ○○GB야. Hermes Agent(최소 64k 컨텍스트 요구)에서 too.. 2026. 6. 23. 이전 1 다음