어느 대화창의 지연 시간
챗봇에 긴 문서를 붙여 넣고 질문을 던져 본 경험은 이제 흔하다. 첫 문장이 나오기까지 걸리는 시간, 대화가 길어질수록 응답이 느려지는 감각, 서비스마다 다르게 매겨진 요금. 사용자에게 이것은 체감의 문제지만, 그 이면에는 모델이 문장을 만들어 내는 방식 자체의 물리적 제약이 있다.
언어 모델의 표준 구조인 트랜스포머는 문장을 처리할 때 모든 단어가 다른 모든 단어를 참조하는 어텐션(attention) 연산을 수행한다. 표현력은 탁월하지만 대가를 요구한다. 길이가 두 배가 되면 연산량은 네 배가 된다. 게다가 대화가 이어지는 동안 모델은 이전 토큰들의 계산 결과를 메모리에 붙들어 둔다. KV 캐시다. 문맥이 길어질수록 이 캐시는 선형으로 불어나며 GPU 메모리를 잠식하고 처리량을 떨어뜨린다. 사용자가 느끼는 지연과 요금표의 숫자는 결국 여기서 나온다.
2017년 트랜스포머 논문 이후 2020년 GPT-3(175B)에 이르기까지 업계의 답은 단순했다. 모델을 키우면 성능이 올랐다. 그러나 이 공식은 두 방향에서 벽에 부딪혔다. 학습 컴퓨트는 유한하고, 추론 비용은 사용자 수에 비례해 무한히 늘어난다. 2023년 이후의 아키텍처 변화는 이 벽에 대한 응답이다. 그 응답의 성격은 트랜스포머의 폐기가 아니었다. 트랜스포머는 해체되어 부분별로 최적화된 뒤 하나의 시스템으로 재조합되었다.
어텐션의 내실화: 메모리를 압축하다
지난 3년간 모델의 골격 자체는 오히려 안정되었다. Pre-RMSNorm, 위치 정보를 회전 행렬로 인코딩하는 RoPE, 게이트가 달린 활성 함수 SwiGLU의 조합은 사실상 업계 표준으로 고착했다. 경쟁은 골격이 아니라 어텐션의 내부 살림에서 벌어졌다.
첫 번째 전선은 KV 캐시였다. 초기 해법은 헤드를 묶는 것이었다. 여러 어텐션 헤드가 키와 값을 공유하도록 그룹화한 GQA(Grouped-Query Attention)는 LLaMA 2/3, Mistral 계열을 거치며 2024년의 표준으로 자리 잡았다. 정보 손실을 감수하고 메모리를 줄이는 타협이었다.
두 번째 해법은 성격이 달랐다. DeepSeek가 제시한 MLA(Multi-Head Latent Attention)는 키와 값을 저차원 잠재 공간으로 사영해 압축한 뒤 필요할 때 복원한다. 헤드를 줄이는 대신 표현을 압축하는 접근이다. 보고된 수치는 KV 캐시 메모리 93.3% 절감, 디코딩 처리량 5.7배 향상. 이 정도 규모의 절감은 단순한 최적화가 아니다. 같은 하드웨어에서 동시에 처리할 수 있는 요청 수를 바꾸고, 그것은 곧 토큰당 단가를 바꾼다.
세 번째 전선은 모델 바깥, 시스템 계층이다. FlashAttention 2/3는 H100 GPU의 비동기 명령어와 FP8 연산을 활용해 이론적 한계 FLOPs에 근접했다. vLLM의 PagedAttention은 운영체제의 가상 메모리 페이징 개념을 KV 캐시 관리에 이식해 파편화로 낭비되던 메모리를 회수했다. 아키텍처 혁신과 시스템 엔지니어링이 같은 목표로 수렴한 셈이다.
스파스와 하이브리드: 연산을 나누고 대체하다
전문가를 쪼개다
어텐션이 메모리 병목이라면 피드포워드 계층(FFN)은 연산 병목이다. 답은 MoE(Mixture of Experts)였다. 전체 파라미터를 여러 전문가 네트워크로 나눠 두고, 토큰마다 라우터가 극히 일부만 활성화한다. 총 파라미터는 크게 유지하면서 토큰당 연산량은 억제하는 구조다.
주목할 지점은 MoE의 채택 여부가 아니라 그 세분화 방향이다. Mixtral 8x7B가 큰 전문가 8개를 두었다면, DeepSeek-V3는 세분화된 전문가 256개에 공통 지식을 담당하는 shared expert를 더한 체제로 이동했다. 전문가를 잘게 쪼갤수록 조합의 다양성이 늘고 라우팅은 정교해진다. 여기에 부하 분산을 위해 별도의 보조 손실 항을 쓰지 않는 auxiliary-loss-free 기법과 FP8 혼합 정밀도 학습이 결합하며 학습 비용의 한계가 다시 밀려났다. 2025년 이후 Llama 4 Maverick의 Dense-MoE 교차 배치, Qwen3-235B-A22B의 하이브리드 사고 모드 지원은 이 노선이 프론티어 오픈소스의 기본값이 되었음을 보여준다.
선형 계층과의 타협
더 근본적인 도전은 어텐션 자체를 대체하려는 시도였다. 상태공간모델(SSM) 계열의 Mamba는 과거를 고정 크기 상태로 압축해 순차 처리하며, 입력에 따라 파라미터를 선택적으로 조절해 동적 콘텐츠 처리를 실현했다. 길이에 선형인 연산량은 매력적이었다. Mamba-2는 SSD 프레임워크를 통해 인과적 어텐션과 SSM 사이의 수학적 동형성을 밝히며 두 계열을 하나의 언어로 묶었다.
그러나 순수 선형 모델은 약점을 드러냈다. 고정 크기 상태에 과거를 밀어 넣는 구조는 특정 정보를 정확히 되짚는 연상 회상(associative recall)에 취약하다. 긴 문맥에서 특정 사실을 검색해야 하는 과제에서 성능은 급격히 떨어졌다.
업계가 도달한 결론은 타협이었고, 그 타협은 놀랍도록 일관된 비율로 수렴했다. 선형 계층 8095%에 완전 어텐션 520%를 섞는 하이브리드 레시피다. Jamba, Qwen3-Next(3:1), Kimi Linear(KDA 3에 MLA 1), Nemotron-H가 서로 독립적으로 유사한 지점에 안착했다. 대부분의 계층은 저렴한 선형 연산으로 처리하되, 정확한 회상이 필요한 순간을 위해 소수의 완전 어텐션 계층을 남겨 둔다. 어느 한쪽의 승리가 아니라 역할 분담의 확정이다.
생각의 시간을 사다: 추론 스케일링
여기까지가 효율의 축이라면, 다른 하나의 축은 성능이 만들어지는 단계 자체를 옮겼다.
OpenAI o1/o3 계열은 답변 이전에 감춰진 사고 과정을 길게 전개하는 방식으로 수학과 코딩의 고난도 과제를 돌파했다. 학습이 끝난 모델에 추론 시점의 연산을 더 투입해 성능을 끌어올리는 test-time compute 개념이다. DeepSeek-R1은 여기에 중요한 증거를 보탰다. 정교한 초기 지도학습 없이 GRPO 기반 강화학습만으로도 긴 사고 사슬이 발현될 수 있음을 보인 것이다. 사고는 주입된 것이 아니라 보상 구조에서 창발했다.
제어 기술도 뒤따랐다. s1이 제시한 budget forcing은 디코딩 단계에서 사고의 길이를 강제로 늘리거나 끊는 단순한 개입만으로 성능 곡선을 움직였다. Best-of-N 샘플링, 과정 보상 모델(PRM), 탐색 기반 방법은 주어진 연산 예산을 어디에 배분할 것인가라는 최적화 문제로 추론을 재정의했다.
이 전환의 함의는 기술을 넘어선다. 현행 AI 규제 상당수는 학습 컴퓨트 총량(FLOPs)을 기준선으로 삼는다. 그러나 학습에 10²⁴ FLOPs를 쓴 모델이 추론 스케일링을 통해 훨씬 높은 수준의 성능을 발휘한다면, 학습량이라는 지표는 능력의 대리 변수로서 신뢰를 잃는다. 규제의 계량 단위가 기술의 구조 변화를 따라가지 못하는 상황이다.
통합과 역전: 시장이 재편되는 방식
멀티모달 처리 방식도 같은 흐름 위에 있다. 이미지 인코더와 언어 모델을 프로젝터로 잇던 3단 구성은, 여러 양식을 처음부터 하나의 디코더 전용 트랜스포머에서 다루는 네이티브 통합 구조로 이동했다. GPT-4o, Gemini 3 Pro, GPT-5가 이 계열에 속한다. 접근법은 갈린다. Chameleon은 이미지를 이산 토큰으로 변환해 텍스트와 동일하게 취급하고, Transfusion은 확산 손실을 언어 모델링 손실과 병합한다. 어느 쪽이든 별도 모듈의 연결이 아니라 단일 학습 목표 아래의 통합이라는 점은 같다.
이 모든 축이 만나는 지점에서 시장 구도가 흔들렸다. MLA와 세분화 MoE, FP8 학습을 결합한 오픈소스 모델들은 MMLU 같은 일반 성능 지표에서 클로즈드 프론티어와의 격차를 1% 이내로 좁혔다. 더 중요한 것은 비용이다. 백만 토큰당 0.26달러 수준과 5달러 이상 수준의 대비는 8~10배의 격차다. 성능이 비등한데 비용이 한 자릿수 배율로 갈리는 비용 역전이 발생했다.
다만 격차가 완전히 사라졌다고 말하기는 이르다. GPQA Diamond, FrontierMath 같은 최상위 추론 벤치마크에서는 프론티어 모델의 우위가 남아 있다. 일반 지식의 평준화와 최고난도 추론의 분화가 동시에 일어나는 중이다. 이 두 곡선이 언제 만날지는 아직 열린 문제다.
남는 것
2023년부터 2026년까지의 궤적을 한 문장으로 줄이면 이렇다. 트랜스포머는 대체되지 않았고, 대신 각 부품이 병목의 성격에 따라 따로 최적화된 뒤 하나의 시스템으로 재조립되었다. 메모리 병목에는 MLA가, 연산 병목에는 MoE가, 길이 병목에는 선형 계층 하이브리드가, 성능의 한계에는 추론 시점의 연산 투입이 배치되었다.
앞으로의 관전 지점은 세 가지다. 선형 아키텍처가 회상 능력의 약점을 구조적으로 개선해 어텐션 비율을 더 낮출 수 있는가. 네이티브 멀티모달에서 양식 간 데이터 배분을 지배하는 스케일링 법칙이 정립될 것인가. 학습 컴퓨트를 기준으로 설계된 거버넌스가 추론 컴퓨트라는 새 변수를 어떻게 흡수할 것인가.
기술의 성숙은 새로운 것의 등장보다 기존 구조의 정확한 분해에서 온다. 지난 3년의 LLM 아키텍처가 그랬다.