알리바바 Qwen(큐원) 3.5 스몰 성능 및 온디바이스 로컬LLM
AI 모델은 클수록 좋다는 공식이 깨지고 있습니다. 알리바바가 2026년 3월 2일(현지시간) 공개한 ‘큐원 3.5 스몰(Qwen3.5 Small)’ 시리즈는 단 9B(90억) 매개변수만으로 OpenAI의 120B 오픈모델을 핵심 벤치마크에서 앞지르며 AI 업계에 충격을 안겼습니다. “M1 맥북 에어에서도 무료로 실행 가능하다”는 개발자 반응이 이어지는 가운데, 이번 글에서는 큐원 3.5 스몰의 핵심 기술과 성능, 활용 가능성까지 꼼꼼히 정리해 드리겠습니다.
큐원 3.5 스몰이란?
알리바바가 공개한 큐원 3.5 스몰은 0.8B부터 9B까지 총 4종의 경량 오픈소스 AI 모델 시리즈입니다. 기존 클라우드 의존형 대형 모델과 달리, 개인 기기·로컬 서버에서도 고급 추론과 멀티모달 처리가 가능하도록 설계된 것이 핵심입니다.
- 출시일: 2026년 3월 2일 (현지시간)
- 라이선스: 아파치 2.0 (상업적 이용·수정·재배포 무료)
- 구성 모델: Qwen3.5-0.8B / 2B / 4B / 9B 총 4종
- 배포 플랫폼: 허깅페이스(Hugging Face), 모델스코프(ModelScope)
- 모델 타입: Base 버전 + Instruct 버전 동시 공개
- 컨텍스트 길이: 최대 262,144 토큰 네이티브 지원 (확장 시 최대 100만 토큰)
4종 모델 구성과 특징
큐원 3.5 스몰 시리즈는 용도에 따라 명확히 계층화된 4가지 모델로 구성됩니다. 각 모델은 단순히 크기만 줄인 것이 아니라, 목적에 맞는 최적화가 이루어졌다는 점에서 차별화됩니다.
- Qwen3.5-0.8B / 2B: 엣지 디바이스·모바일 특화, 배터리 효율 극대화, 스마트폰에서 60초 영상 요약 가능
- Qwen3.5-4B: 26만 2,144 토큰 컨텍스트 지원, 경량 멀티모달 에이전트 베이스 모델
- Qwen3.5-9B: 고급 추론 특화 플래그십 모델, 단일 RTX 3090(24GB)에서 구동 가능
- 공통 특징: 네이티브 멀티모달(텍스트+이미지+영상), 강화학습(RL) 기반 훈련
- 하드웨어 요건(9B): 4비트 양자화 시 약 5GB VRAM으로 RTX 3060 또는 M1 맥에서도 실행 가능
핵심 기술: 하이브리드 아키텍처
큐원 3.5 스몰의 놀라운 성능 비결은 기존 트랜스포머 구조를 과감히 탈피한 새로운 아키텍처에 있습니다. 이 혁신적인 구조 덕분에 작은 모델 크기에도 불구하고 훨씬 큰 모델에 필적하는 추론 성능을 발휘할 수 있습니다.
- 게이티드 델타 네트웍스(Gated Delta Networks): 선형 어텐션 계열로 기존 표준 어텐션의 연산 비용(시퀀스 길이의 제곱에 비례) 문제를 해결
- 희소 전문가 혼합(Sparse MoE): 입력에 따라 필요한 전문가 모듈만 선택적 활성화, 불필요한 연산 제거
- 공유 전문가(Shared Expert): 범용 특징을 처리하는 전용 dense MLP로 학습 안정성 향상
- 얼리 퓨전(Early Fusion): 학습 초기 단계부터 텍스트·이미지·영상 토큰을 통합 훈련 (기존 ‘시각 인코더 후부착’ 방식 탈피)
- 스케일드 강화학습(Scaled RL): 백만 에이전트 환경에서 RL을 확장 적용, 다단계 목표 처리 능력 부여
벤치마크 성능 비교
수치는 거짓말하지 않습니다. 큐원3.5-9B는 13.5배 더 큰 모델인 gpt-oss-120B를 여러 핵심 벤치마크에서 앞서며 ‘효율의 시대’가 열렸음을 증명했습니다.
| 벤치마크 | 큐원3.5-9B | gpt-oss-120B | 제미나이 2.5 Flash-Lite |
|---|---|---|---|
| GPQA Diamond (대학원급 추론) | 81.7 | 80.1 | – |
| MMMU-Pro (멀티모달 추론) | 70.1 | 59.7 | 59.7 |
| Video-MME (영상 이해) | 84.5 | – | 74.6 |
| HMMT (수학) | 83.2 | 76.7 | – |
| OmniDocBench v1.5 (문서 인식) | 87.7 | – | – |
| MMMLU (다국어 지식) | 81.2 | 78.2 | – |
- 4B 모델(Video-MME 83.5점)도 이전 세대 80B 규모 모델에 필적하는 성능
- ERQA 벤치마크에서 9B 모델이 55.5점으로 gpt-oss-120B(44.3점)를 크게 상회
- 전 세계 개발자 커뮤니티에서 “어떻게 이게 가능하냐”는 반응 속출
온디바이스 AI의 의미
이번 출시가 단순한 신모델 공개를 넘어 의미 있는 이유는, AI의 ‘민주화’를 실질적으로 앞당기기 때문입니다. 클라우드 API 없이도 고급 AI 기능을 내 기기에서 무료로 실행할 수 있는 시대가 열린 것입니다.
- 비용 절감: 반복적 추론 루프를 클라우드 대신 로컬에서 처리, API 비용 획기적 절감
- 프라이버시 보호: 민감한 데이터가 외부 서버로 전송되지 않는 완전한 온디바이스 처리
- 오프라인 활용: 인터넷 연결 없이도 영상 요약·공간 추론·문서 분석 가능
- 엔터프라이즈 활용: Base 모델 공개로 기업 자체 파인튜닝(SFT/RLHF) 적용 가능
- 에이전트 AI 진화: 스스로 추론하고 도구를 활용하는 ‘자율형 에이전트’로의 진화 가속
큐원 3.5와 로컬 LLM 활용
큐원 3.5 스몰은 현재 로컬 LLM 생태계에서 가장 주목받는 모델 중 하나입니다. Ollama, LM Studio, llama.cpp 등 이미 널리 쓰이는 로컬 LLM 툴과의 호환성이 뛰어나 진입 장벽이 낮고, 기존 로컬 LLM 사용자라면 별도의 환경 세팅 없이도 바로 전환해 사용할 수 있습니다.
- Ollama 지원:
ollama run qwen3.5:9b명령 한 줄로 즉시 실행 가능, 설치부터 실행까지 5분 이내 - LM Studio 지원: GUI 환경에서 모델 다운로드·실행·채팅까지 코딩 없이 가능, 비개발자도 접근 용이
- llama.cpp 지원: GGUF 양자화 포맷으로 배포되어 CPU만으로도 추론 가능 (속도는 GPU 대비 느리나 하드웨어 제약 없음)
- Open WebUI 연동: Ollama와 결합해 ChatGPT와 유사한 웹 UI 환경을 로컬에서 무료로 구축 가능
- AnythingLLM 활용: 로컬 문서 기반 RAG(검색 증강 생성) 시스템을 큐원 3.5로 구축, 사내 지식베이스 챗봇 구현 가능
- 기존 로컬 LLM과 비교: Llama 3.1-8B·Mistral-7B 대비 멀티모달·추론 성능에서 우위, 같은 하드웨어에서 더 높은 품질 기대 가능
도입 시 꿀팁 & 주의사항
큐원 3.5 스몰은 매력적인 모델이지만, 실제 도입 전에 알아야 할 사항들이 있습니다. 아래 팁을 참고하면 더 효과적으로 활용하실 수 있습니다.
- ✅ 빠른 시작: 허깅페이스에서
Qwen/Qwen3.5-9B검색 후 바로 다운로드 가능 - ✅ 추천 용도: 수학·코딩처럼 자동 검증이 가능한 작업에 먼저 도입 권장
- ✅ vLLM 활용: 프로덕션 환경에서는 vLLM, SGLang, KTransformers 등 전용 서빙 엔진 사용 권장
- ⚠️ 에이전트 오류 연쇄: 다단계 에이전트 처리 시 초기 오류가 연쇄 실패로 이어질 수 있으므로 검증 체계 필요
- ⚠️ 규제 환경 검토: 중국 기반 모델이므로 일부 규제 환경에서는 데이터 잔류 정책 사전 확인 권장
- ⚠️ 복잡한 의사결정: 열린 형태의 복잡한 레거시 시스템 수정 등에는 별도 검증 레이어 필요
자주 묻는 질문 (Q&A)
Q1. 큐원 3.5 스몰은 무료로 사용할 수 있나요? A1. 네, 모든 모델이 아파치 2.0 라이선스로 공개되어 있어 개인 사용은 물론 상업적 제품에도 로열티 없이 자유롭게 통합·수정·재배포하실 수 있습니다. 허깅페이스와 모델스코프에서 즉시 다운로드 가능합니다.
Q2. 일반 노트북에서도 실행할 수 있나요? A2. 가능합니다. 9B 모델 기준으로 4비트 양자화 적용 시 약 5GB VRAM만 있으면 되며, M1 맥북 에어나 RTX 3060 이상 GPU 환경에서 실행할 수 있습니다. 0.8B·2B 모델은 스마트폰 수준의 기기에서도 동작합니다.
Q3. 왜 9B 모델이 120B 모델보다 성능이 높은 건가요? A3. 핵심은 아키텍처 혁신입니다. 게이티드 델타 네트웍스(Gated DeltaNet)와 희소 MoE를 결합해 필요한 부분만 선택적으로 활성화하고, 학습 초기부터 멀티모달 토큰을 통합 훈련하는 얼리 퓨전 방식, 그리고 백만 에이전트 환경에서의 강화학습 스케일링이 매개변수 수의 한계를 뛰어넘는 성능을 가능하게 했습니다.
Q4. 기업에서 자체 파인튜닝(fine-tuning)이 가능한가요? A4. 네, RLHF나 SFT가 적용되지 않은 Base 모델이 Instruct 버전과 함께 공개되어 있어 자체 데이터를 활용한 파인튜닝이 가능합니다. 아파치 2.0 라이선스이므로 수정 및 상업적 배포도 자유롭습니다.
Q5. 큐원 3.5 스몰은 어떤 언어를 지원하나요? A5. 다국어 지식 평가(MMMLU)에서 81.2점을 기록할 만큼 다국어 능력이 뛰어나며, 한국어를 포함한 다양한 언어를 지원합니다. 큐원 시리즈는 전통적으로 100개 이상의 언어와 방언을 학습해 글로벌 환경에서도 활용 가능합니다.
