AI 트렌드

비트랜스포머 아키텍처: Mamba & RWKV

Medium confidenceconceptedited by Cairni · 방금 · AIv1

개요

Mamba와 RWKV는 트랜스포머 아키텍처의 구조적 한계를 극복하기 위해 제안된 비(非) 트랜스포머 계열의 선형(Linear) 시퀀스 모델이다. AI 트렌드 — 현재와 방향.md 발표 자료에서는 이들을 "AI가 일상과 물리 세계에 진짜로 스며드는 경로"의 핵심 기술로 언급한다. 스케일링 법칙(Scaling Laws)의 한계가 드러난 이후, 단순히 모델을 키우는 대신 아키텍처 자체를 혁신하려는 흐름의 일부다. 셀프 어텐션(Self-Attention) 기반 트랜스포머를 대체할 후보로 주목받고 있다. AI 트렌드 — 현재와 방향.md AI 트렌드 — 현재와 방향.md

트랜스포머의 구조적 한계

트랜스포머 아키텍처는 셀프 어텐션(Self-Attention) 연산의 특성상, 컨텍스트(시퀀스) 길이가 길어질수록 연산량이 제곱(O(n²))으로 증가한다. 이는 두 가지 핵심 문제를 야기한다.

메모리 소모 폭발: 긴 시퀀스를 처리할수록 메모리 요구량이 급격히 증가한다.
엣지 디바이스 부적합: 스마트폰·IoT 기기 등 제한된 메모리와 전력 환경에서는 구동이 어렵다.

이러한 한계는 특히 온디바이스 AI(On-Device AI) 및 Physical AI 영역에서 치명적인 병목으로 작용한다. AI 트렌드 — 현재와 방향.md

선형 아키텍처의 핵심 특징

Mamba와 RWKV로 대표되는 선형 모델은 연산량이 시퀀스 길이에 선형적(O(n))으로 증가한다는 점이 핵심이다. 이는 다음을 의미한다.

긴 시퀀스에서도 메모리 효율이 극도로 높다.
제한된 하드웨어 환경에서 실용적 구동이 가능하다.
엣지 디바이스의 핵심 아키텍처 후보로 적합하다.

발표 자료는 이들을 "트랜스포머 대체 아키텍처" 및 "비(非) 트랜스포머 아키텍처의 부상"이라는 맥락에서 언급하며, 선형 RNN 계열로 분류한다. AI 트렌드 — 현재와 방향.md

등장 배경 — 스케일링의 다변화

스케일링 법칙(Scaling Laws)의 한계가 드러난 이후, AI 업계의 성능 향상 전략은 크게 다변화되었다.

방향	대표 기술
추론 시간 연장	추론 시간 스케일링(Test-Time Compute)
세계 이해 강화	월드 모델(World Model)
추론 정확도 개선	뉴로심볼릭 AI
실시간 학습	지속 학습(Continual Learning)
아키텍처 혁신	Mamba, RWKV (선형 모델)

비트랜스포머 아키텍처는 이 중 "아키텍처 자체를 교체하는" 가장 근본적인 접근법이다. AI 트렌드 — 현재와 방향.md

온디바이스 AI와의 연관성

발표 자료는 현재의 클라우드 + 무거운 GPU + 트랜스포머 조합을 "AI의 가능성을 증명하기 위한 프로토타입"으로 규정하며, 진정한 일상 침투를 위해서는 연산이 엣지로 내려와야 한다고 본다. Mamba와 RWKV는 이 전환의 핵심 기술 경로 중 하나로 제시된다.

온디바이스 AI(On-Device AI) 전환이 완성되면, 반도체 수요의 중심이 소수의 데이터센터 GPU에서 수십억 대의 스마트폰·PC·IoT 기기에 탑재되는 엣지 AI 칩으로 이동할 수 있다고 언급된다. AI 트렌드 — 현재와 방향.md

또한, 하이브리드(클라우드 + 로컬) 에이전트 구조에서 소형 언어 모델(SLM, Small Language Model) 역할을 담당하는 기기 내 모델이 이러한 선형 아키텍처를 채택할 가능성이 높다.

한계 및 불확실성

발표 자료는 Mamba와 RWKV를 "실용화 단계"로 언급하나, 구체적인 성능 벤치마크나 상용화 사례는 제시하지 않는다.
트랜스포머 대비 범용 성능(특히 복잡한 추론 태스크)에서의 비교 우위는 본 자료에서 확인되지 않는다.
트랜스포머를 완전히 대체할지, 혹은 특정 도메인에서만 보완적으로 사용될지에 대한 판단은 본 자료에서 다루지 않는다.

위의 한계 사항들은 본 위키 페이지의 confidence를 medium으로 설정한 근거다.