보기만 하던 멀티모달 LLM, 이제 행동까지 한다 - 2026년 판도와 하이브리드 전략

# 보는 기계에서 행동하는 기계로: 2026년 멀티모달 LLM의 지형과 하이브리드 전략 멀티모달 LLM의 경쟁축은 더 이상 '무엇을 보는가'가 아니다. 2023년 GPT-4V가 이미지 이해의 가능성을 열었을 때 시장이 물은 것은 인식 정확도였다. 2026년 상반기의 질문은 다르다. 모델이 화면을 읽고 스스로 조작할 수 있는가. 복잡한 시각 문제 앞에서 추론 시간을 늘려 답의 질을 끌어올릴 수 있는가. 그 능력을 어떤 비용 구조 위에서 굴릴 것인가. ## 인식에서 실행으로 멀티모달 모델의 역사는 시각과 언어를 잇는 다리의 설계사다. 2021년 CLIP은 이미지와 텍스트를 같은 임베딩 공간에 정렬하는 방법을 정립했지만 해상도 제한과 OCR 능력 부족이 발목을 잡았다. Flamingo는 Perceiver Resampler로 시각 정보를 언어 모델에 주입하는 구조를 실험했고, BLIP-2는 Q-Former라는 경량 접합부로 학습 비용을 낮췄다. LLaVA는 시각 지시 튜닝이라는 단순하고 강력한 레시피를 오픈소스 진영에 퍼뜨렸다. 다리의 설계가 정교해질수록 모델은 보는 일에서 자유로워졌고, 남는 연산은 추론과 행동으로 옮겨갔다. 2026년의 핵심 능력 둘이 그 결과물이다. 문제 난이도에 따라 추론 시간을 가변 투입하는 하이브리드 추론(Thinking Mode), 그리고 스크린샷을 읽고 마우스와 키보드를 제어하는 컴퓨터 조작(Computer Use). 인식은 전제가 됐고, 실행이 경쟁력이 됐다. ## 상용 3사, 세 개의 설계 철학 상용 3사는 같은 시장에서 경쟁하지만 아키텍처가 드러내는 우선순위는 뚜렷이 다르다. OpenAI는 통합과 분업을 병행한다. GPT-4o는 텍스트, 이미지, 오디오를 단일 모델에서 저지연으로 처리하는 네이티브 멀티모달 노선이고, o-series(o1, o3, o4-mini)는 추론에 연산을 몰아넣는 특화 노선이다. 실시간 상호작용과 깊은 사고를 한 모델에 욱여넣지 않고 갈라놨다. Anthropic은 추론의 질에 무게를 둔다. Claude 3.5 Sonnet이 코딩과 문서 분석에서 쌓은 신뢰 위에, Claude 4 계열은 하이브리드 추론을 전면에 내세웠다. 빠른 응답과 확장 사고를 하나의 모델이 상황에 따라 전환한다. Google DeepMind의 Gemini는 컨텍스트 물량전이다. 1M에서 2M 토큰에 이르는 초장문 컨텍스트와 비디오, 오디오의 네이티브 처리는 장시간 영상 분석이나 방대한 문서 뭉치 처리에서 구조적 우위를 만든다. | 모델 | MMMU | MathVista | DocVQA | |-|-|-|-| | Gemini 2.5 Pro | 81.7% | 78.2% | 95.8% | | Claude 4 Opus | 76.5% | 71.8% | 94.4% | | GPT-4o | 69.1% | 63.8% | 92.8% | | Claude 3.5 Sonnet | 68.3% | 67.7% | 92.1% | 다만 이 완숙도에는 대가가 붙는다. API 종속은 토큰당 과금이라는 변동비 구조와 데이터 외부 전송이라는 리스크를 함께 데려온다. ## 오픈소스의 자립 오픈소스 멀티모달 모델의 위상은 지난 2년간 근본적으로 변했다. 상용보다 싸지만 못한 것이 아니라, 일부 영역에서는 상용을 넘어선다. InternVL 2.5-78B는 MMMU 72.2%로 GPT-4o(69.1%)를 상회하고, DocVQA 95.0%는 Claude 4 Opus(94.4%)보다 높다. 6B 규모의 전용 비전 인코더 InternViT를 고성능 LLM 백본과 결합한 설계가 이 성과의 기반이다. Qwen2.5-VL-72B는 MathVista 74.8%로 Claude 4 Opus(71.8%)를 넘어섰고, 동적 해상도 처리와 컴퓨터 조작 에이전트 기능을 적극 수용했다. 성능보다 본질적인 것은 라이선스다. InternVL의 MIT, Qwen의 Apache 2.0은 상업적 활용, 파인튜닝, 재배포에 제약 없는 완전한 권리를 부여한다. 자사 도메인 데이터로 튜닝한 모델을 온전히 소유할 수 있고, 민감 데이터가 인프라 경계를 벗어나지 않는 데이터 주권이 구조적으로 보장된다. 금융, 의료, 행정처럼 데이터 반출이 규제되는 산업에서 이것은 성능 몇 퍼센트포인트보다 무거운 변수다. 경량 진영도 정비됐다. Pixtral 12B, SmolVLM-1.7B 같은 모델이 온디바이스와 엣지 환경에서 멀티모달 처리의 하한선을 끌어올리고 있다. ## 비용의 산법 의사결정의 마지막 변수는 비용이고, 여기서 직관은 자주 틀린다. | 모델 | 입력 ($/1M) | 출력 ($/1M) | 컨텍스트 | |-|-|-|-| | Claude 4 Opus | $15.00 | $75.00 | 200K~1M | | GPT-4o | $5.00 | $15.00 | 128K | | Claude 4 Sonnet | $3.00 | $15.00 | 200K~1M | | Gemini 2.5 Pro | $1.25 | $10.00 | 2M | | Gemini 2.5 Flash | $0.30 | $2.50 | 2M | | GPT-4o mini | $0.15 | $0.60 | 128K | 입출력 비용의 비대칭부터 보자. Claude 4 Opus의 출력 단가는 입력의 5배라서, 장문 생성 위주의 워크로드에서는 비용이 예상을 크게 넘는다. 가격 간극도 크다. 입력 기준으로 Claude 4 Opus($15.00)와 Gemini 2.5 Flash($0.30)는 50배 차이다. 모든 요청을 최상위 모델로 보내는 설계는 비용 관점에서 정당화되지 않는다. 자체 호스팅은 고정비 계산이다. H100 80GB 1대의 월 유지비를 임차비와 전력비 포함 $2,000~$3,500으로 잡으면, 70B급 오픈소스 모델의 운용 비용은 트래픽과 무관하게 상수에 수렴한다. 여기에 vLLM이나 TensorRT-LLM 같은 추론 최적화 스택을 다룰 인력 비용이 붙는다. 트래픽이 임계점 아래면 API의 변동비가 유리하고, 넘으면 자체 호스팅의 고정비가 유리하다. 임계점의 위치는 워크로드의 입출력 비율과 사용하는 API 등급에 따라 움직이므로 자사 트래픽 프로파일로 직접 계산해야 한다. 계산 없이 내린 선택은 어느 쪽이든 비싸다. ## 한국 시장과 하이브리드 아키텍처 글로벌 모델의 벤치마크가 한국 기업의 실무 지형을 그대로 반영하지는 않는다. 행정 문서 OCR, 영수증, 계약서 같은 로컬 서식 처리에서 HyperCLOVA X Vision은 글로벌 모델보다 10~20% 높은 정확도를 낸다. 대신 다국어 범용성은 글로벌 탑티어에 못 미친다. Pangea류의 다국어 오픈소스 모델은 한영 혼용 처리와 데이터 주권 확보에 강점이 있지만 한국어 지시어 튜닝 데이터셋의 양이 부족하다. 어느 단일 모델도 한국 시장의 요구를 전부 채우지 못한다. 그래서 설계의 핵심은 선택이 아니라 라우팅이다. 게이트웨이 레이어가 작업의 성격을 분류해 최적 모델로 배분한다. 고난도 추론과 에이전트 연산은 상용 API로, 대량의 일상적 이미지 처리와 문서 OCR은 자체 호스팅 오픈소스로, 한국 로컬 서식은 국내 특화 모델로 보낸다. 문서 검색이라면 ColPali, ColQwen 계열의 OCR-free 시각 문서 검색을 눈여겨볼 만하다. 문서를 텍스트로 변환하지 않고 이미지 그대로 임베딩해 검색하므로, OCR 파이프라인의 오류 누적이 원천에서 사라진다. ## 무엇을 준비할 것인가 벤치마크를 일반화하지 마라. MMMU 점수는 자사 도메인에서의 성능을 보증하지 않는다. 고유 비즈니스 데이터로 자체 테스트 세트를 구성하고 후보 모델을 그 위에서 검증해야 한다. 라우팅을 설계하라. 단일 API 종속은 비용과 주권 양면에서 취약하다. 작업 난이도와 데이터 민감도에 따라 상용 API와 자체 호스팅 오픈소스를 배분하는 게이트웨이가 아키텍처의 중심이 되어야 한다. 에이전트도 미룰 일이 아니다. 컴퓨터 조작 기능은 실험 단계를 지나 실무 진입 단계에 있다. 시각 조회를 넘어 워크플로우 자동화로 이어지는 경로를 지금 프로토타이핑하는 조직과 그렇지 않은 조직의 격차는, 다음 세대 모델이 나오는 순간 벌어진다. 보는 능력이 상향 평준화된 시대에 경쟁력은 무엇을 보느냐가 아니라, 본 것을 어떤 구조 위에서 행동으로 옮기느냐에서 갈린다.