AI 시대가 특이점을 맞이하며 아마존웹서비스(AWS) 등 클라우드 3강의 행보도 빨라지고 있다. AI 반도체 시장이 엔비디아의 독주에서 하이퍼스케일러 자체 설계 칩 체제로 급격히 재편되는 가운데 다양한 자체 전략들이 속속 모습을 드러내는 중이다.




사진=갈무리


"무조건 강하다" AWSAWS가 선보인 차세대 AI 학습 엔진 트레이니움3(Trainium3) 존재감이 매섭다. 지난 12월 말 리인벤트 행사에서 베일을 벗은 트레이니움3는 AWS의 반도체 바다신2다운로드 설계 자회사 안나푸르나 랩스(Annapurna Labs)의 10년 기술력이 집약된 4세대 AI 칩이다.
업계에서는 MS의 마이아 200이 추론에 무게를 실었다면 트레이니움3는 거대언어모델(LLM)의 학습과 에이전틱 AI 구동에서 압도적인 가성비를 앞세워 엔비디아의 아성을 위협할 것으로 내다보고 있다.
트레이니움3의 가장 체리마스터모바일 큰 특징은 단순한 칩 성능 개선을 넘어 서버 아키텍처 전체를 최적화하는 시스템 우선(System-first) 접근 방식을 취했다는 점이다. 실제로 AWS는 TSMC의 최첨단 3나노(nm) 공정을 도입해 전작인 트레이니움2 대비 컴퓨팅 성능을 4.4배, 메모리 대역폭을 약 4배가량 끌어올렸다.
핵심 연산 유닛인 뉴런코어(NeuronCore 바다이야기무료 )-v4는 전문가 혼합(MoE, Mixture-of-Experts) 모델과 같은 복잡한 병렬화 워크로드에 최적화되었다. 칩당 2.52 PFLOPS(페타플롭스)의 FP8 성능을 제공하며 특히 MXFP8과 MXFP4 등 차세대 데이터 정밀도 형식을 지원해 멀티모달 모델 학습 시 연산 효율을 극대화했다.
에너지 효율 면에서의 진보도 눈부시다. 릴게임방법 당장 트레이니움3는 전작 대비 와트당 성능을 4배 향상해 데이터센터 운영 비용의 핵심인 전력 소모 문제를 정면으로 돌파했다. AWS 매트 가먼(Matt Garman) CEO는 트레이니움3는 이전 세대보다 메가와트당 5배 더 많은 토큰을 생성할 수 있다며 이는 AI 모델 개발의 경제성을 근본적으로 바꾸는 수치라고 강조했다.
한편 AWS 기술 메이저릴게임사이트 력의 진수는 개별 칩보다 이를 묶어내는 서버 아키텍처인 Trn3 울트라서버(UltraServer)에서 드러난다. 당장 AWS는 단일 서버 랙에 최대 144개의 트레이니움3 칩을 고밀도로 집적했다. 이를 통해 단일 시스템에서 총 362 PFLOPS(FP8)의 연산 능력과 20.7 TB의 HBM3e 메모리 풀을 제공한다.
고밀도 집적을 가능하게 한 것은 독자적인 인터커넥트 기술이다. 먼저 뉴런링크(NeuronLink)-v4다. 칩 간 대역폭을 초당 2TB로 확대해 엔비디아의 NVLink(1.8 TB/s)를 넘어서는 데이터 전송 속도를 구현했다.
뉴런스위치(NeuronSwitch)-v1도 강력하다. 서버 내 144개 칩 간의 올-투-올(All-to-All) 통신을 지원하는 패브릭 스위치로, 대규모 모델 학습 시 발생하는 병목 현상을 10마이크로초 미만의 지연 시간으로 해결했다.
확장성 또한 가공할 수준이다. EC2 UltraClusters 3.0으로 확장할 경우 수만 대의 서버를 연결해 최대 100만 개의 트레이니움 칩을 하나의 거대 가상 슈퍼컴퓨터처럼 활용할 수 있다. 인류 역사상 가장 거대한 단일 AI 학습 클러스터 중 하나로 1조 개 이상의 파라미터를 가진 초거대 모델을 월 단위가 아닌 주 단위로 학습시킬 수 있는 성능이다.
여기가 끝이 아니다. 하드웨어의 성능을 뒷받침하는 것은 소프트웨어의 유연성이라는 점도 놓치지 않았다. 개방성이다. 그런 이유로 AWS는 뉴런 SDK 2.27 버전을 발표하며 오픈소스 구성을 대폭 확대했다. 개발자들이 기존 엔비디아 쿠다 환경에서 짠 PyTorch나 JAX 코드를 단 한 줄의 수정 없이 트레이니움 환경으로 이식할 수 있도록 돕는 토치뉴런(TorchNeuron) 기술이 핵심이다. 생태계 빼앗기 왕좌의 게임, 혹은 의자 빼앗기 게임이다.
고급 개발자를 위해 하드웨어의 ISA(명령어 집합 구조)에 직접 접근할 수 있는 NKI(Neuron Kernel Interface)를 제공하는 것도 눈길을 끈다. 극한의 성능 최적화를 원하는 전문가들을 공략하고 있기 때문이다. 그리고 이러한 노력은 실제 수치로 증명되고 있다. AWS에 따르면 고객들은 트레이니움3를 도입함으로써 기존 GPU 인스턴스 대비 모델 학습 및 추론 비용을 최대 50%까지 절감하고 있다.
실제 성공 사례도 잇따르고 있다. 세계적인 AI 스타트업 앤스로픽(Anthropic)은 AWS를 주 클라우드 파트너로 선정하고 차세대 모델 클로드(Claude)의 학습을 위해 트레이니움 칩을 대규모로 활용하는 프로젝트 레이니어(Project Rainier)를 가동 중이다. 나아가 영상 생성 AI 전문 기업인 데카르트(Decart)는 트레이니움3를 통해 기존 대비 4배 높은 프레임 처리율을 달성하며 실시간 비디오 생성 시대를 앞당기고 있다.

AWS는 여기서 멈추지 않고 엔비디아의 NVLink와 직접 연동 가능한 트레이니움4 개발 소식까지 예고하며 하이브리드 인프라 시장까지 정조준했다. 바야흐로 AI 반도체 시장은 성능의 엔비디아와 경제성의 AWS가 격돌하는 실리콘 대전의 한복판으로 들어섰다는 평가다.




마이아 200. 사진=MS


추론의 왕, 마이아 200마이크로소프트(MS)도 차세대 AI 가속기 마이아(Maia) 200을 전격 공개했다. 엔비디아가 독점해온 AI 하드웨어 시장의 판도를 근본적으로 뒤흔들려는 MS의 전략적 승부수로 풀이된다.
범용성 대신 추론에 올인한 3나노 공정의 괴물칩이다. 실제로 마이아 200은 반도체 제조 기술의 최전선인 TSMC의 3나노(N3) 공정을 통해 탄생했다. 단일 다이(Die)에 무려 1400억 개의 트랜지스터를 집적했으며 설계 단계부터 철저하게 추론(Inference) 효율성에 초점을 맞췄다.
학습과 추론 모두를 아우르려 했던 기존 범용 GPU와 달리 실시간 서비스 운영 비용을 낮추기 위해 불필요한 기능을 걷어내는 뺄셈의 미학을 적용했다.
특히 저정밀도 연산인 FP4(4비트 부동소수점) 성능에서 혁신적인 성과를 냈다. 칩당 10 PFLOPS(페타플롭스) 이상의 FP4 연산력을 제공하기 때문이다. 최신 거대언어모델(LLM)이 양자화를 거쳐도 성능 저하가 거의 없다는 점을 공략한 설계다. 나아가 750W 수준의 열설계전력(TDP)을 유지하면서도 공랭과 수랭 시스템을 모두 지원해 데이터센터 환경에 따른 유연한 배치를 가능하게 했다.
한편 AI 연산의 고질적 병목 구간인 메모리 성능에서도 압도적인 스펙을 과시했다. 각 칩에는 216GB 용량의 고대역폭 메모리(HBM3e)가 탑재되었으며 초당 7TB의 데이터를 처리할 수 있는 대역폭을 확보했다. 엔비디아의 최신 칩인 블랙웰 B200(192GB)을 상회하는 수치로 수조 개의 파라미터를 가진 모델을 메모리에 더 많이 적재해 칩 간 통신 지연을 최소화할 수 있게 한다.
칩 내부의 데이터 흐름을 최적화하기 위해 272MB에 달하는 대용량 SRAM을 통합한 점도 눈에 띈다. 자주 사용하는 데이터를 칩 외부 메모리로 내보내지 않고 내부에서 즉시 처리함으로써 에너지 효율을 높이고 응답 시간을 단축했다는 설명이다. 여기에 MS는 ATL(Maia AI Transport)이라는 독자적 프로토콜을 탑재한 통합 NIC를 내장했다. 고가의 인피니밴드 장비 없이 표준 이더넷 인프라만으로 최대 6144개의 가속기를 하나의 거대 클러스터로 묶는 확장성을 실현했다.
MS는 마이아 200을 이미 자사의 핵심 서비스인 MS 365 코파일럿과 OpenAI의 차세대 프론티어 모델 GPT-5.2의 추론 인프라로 전격 투입했다. 그리고 현장 투입 결과 기존 범용 하드웨어 대비 가성비가 30% 이상 개선된 것으로 나타났다. 물론 갈 길은 멀지만, 매년 엔비디아에 지불하던 천문학적인 구매 비용과 유지 보수비를 내재화하여 수익 구조를 근본적으로 개선했다는 의미다.

소프트웨어 생태계 구축에도 공을 들였다. MS는 오픈소스 기반의 트리톤(Triton)과 파이토치(PyTorch)를 네이티브 수준에서 지원해 개발자들이 기존 엔비디아 환경에서 마이아 200으로 손쉽게 전환할 수 있도록 했다. 업계 관계자는 하드웨어 성능 못지않게 소프트웨어 호환성이 중요하다는 것을 MS가 간파한 것이라며 이미 오픈AI와 앤트로픽 같은 선도 기업들이 자체 칩 활용 비중을 높이고 있어 엔비디아의 독점 체제는 빠르게 균열이 갈 것이라고 전망했다.




사진=연합뉴스


구글 아이언우드 TPU v7 시대 선포AWS와 MS가 자체 칩을 앞세워 실리콘 자립을 선언한 가운데 이 분야의 원조 격인 구글이 차세대 AI 가속기인 7세대 TPU 아이언우드(Ironwood)를 전격 가동하며 맞불을 놨다. 2025년 말 공개 이후 본격적으로 구글 클라우드 인프라에 녹아든 아이언우드는 단순한 가속기를 넘어 AI 하이퍼컴퓨터 아키텍처의 정수를 보여준다는 평가를 받는다.
구글 아이언우드 TPU v7은 설계 단계부터 대추론 시대를 대비해 제작됐다. 마이아 200과 결이 비슷하다. 3나노(nm) 공정을 기반으로 제작됐으며 이전 세대인 트릴리엄(Trillium) 대비 4배 이상의 컴퓨팅 성능을 발휘한다. 특히 FP8 정밀도에서 단일 칩당 4.6 PFLOPS(페타플롭스)의 연산 능력을 갖춰 엔비디아의 최신 블랙웰 아키텍처와 대등하거나 특정 워크로드에서는 이를 능가하는 효율을 보여준다.
가장 혁신적인 부분은 메모리 구성이다. 칩당 192GB의 고대역폭 메모리(HBM3e)를 탑재해 전작 대비 용량을 6배나 확장했다. 메모리 대역폭 또한 7.37 TB/s로 4.5배 향상되어, 수조 개의 파라미터를 가진 초거대 언어모델(LLM)이 칩 사이를 오가는 통신 오버헤드를 극적으로 줄였다. 구글은 이를 통해 추론 지연 시간을 최소화하고 와트당 성능을 이전 세대보다 2배 개선하며 운영 비용 절감에 성공했다.
구글 기술력의 진정한 차별점은 개별 칩의 성능보다 수만 개의 칩을 하나처럼 구동하는 시스템 아키텍처에 있다는 말도 나온다. 실제로 아이언우드는 독자적인 인터-칩 인터커넥트(ICI) 기술을 고도화해 단일 팟(Pod) 내에서 최대 9216개의 칩을 직접 연결할 수 있다. 연산 능력은 42.5 EFLOPS(엑사플롭스)에 달하며 현존하는 최고 사양의 슈퍼컴퓨터를 압도하는 수준이다.
네트워킹 측면에서는 구글이 자체 개발한 광회선 스위칭(OCS) 기술인 팔로마(Palomar)가 핵심 역할을 수행한다. 전기적 신호를 빛으로 변환하는 과정 없이 광학적으로 경로를 재구성하는 이 기술은 전자 스위치 대비 전력 소비를 95% 이상 절감한다. 이를 통해 구글은 데이터센터 내부의 복잡도를 획기적으로 낮추는 동시에 대규모 분산 학습과 추론에서 발생하는 데이터 병목 현상을 원천적으로 차단했다.
현재 아이언우드 TPU v7은 구글의 최신 모델인 제미나이 3.0의 학습과 추론을 전담하는 핵심 엔진으로 작동하고 있다. 외부 파트너십 성과도 가시적이다. 세계적인 AI 스타트업 앤스로픽은 구글과 수십억 달러 규모의 장기 계약을 체결하고, 자사의 클로드 모델 고도화를 위해 최대 100만 개의 구글 TPU 접근권을 확보했다.

업계 전문가들은 구글이 아이언우드를 통해 엔비디아 GPU 중심의 인프라 구조를 TPU와 멀티클라우드 전략으로 전환하는 데 성공했다고 분석한다. 비록 엔비디아가 매년 신제품을 내놓으며 속도전을 펼치고 있지만, 구글은 파이토치(PyTorch)와 JAX를 아우르는 최적화된 소프트웨어 스택과 AI 하이퍼컴퓨터라는 통합 시스템 아키텍처로 가장 저렴하고 빠른 AI 서빙 인프라라는 독보적 위치를 굳히고 있다.




사진=연합뉴스


학습은 엔비디아, 추론은 자체 칩… 빅테크와 AI 거인의 기묘한 동거
현재 글로벌 AI 반도체 시장은 절대 강자의 수성과 신흥 세력의 대분리가 교차하는 혼돈의 시기다. 지난 3년간 AI 열풍의 유일한 수혜자로 군림했던 엔비디아가 차세대 아키텍처 루빈(Rubin)을 앞세워 철옹성을 강화하는 가운데 클라우드 기반 하이퍼스케일러들은 자체 설계한 맞춤형 반도체(ASIC)를 들고 전장에 직접 뛰어들었기 때문이다.
이제 시장은 단순히 누가 더 빠른 칩을 만드느냐를 넘어 누가 더 지속 가능한 AI 경제성을 확보하느냐의 싸움으로 번지고 있다.
우선 엔비디아는 여전히 시장 점유율 80% 이상을 차지하며 압도적인 지배력을 유지하고 있다. 2025년을 휩쓴 블랙웰(Blackwell) 아키텍처에 이어, 2026년 하반기 출시를 앞둔 루빈은 엔비디아가 왜 AI 시대의 심장인지를 다시 한번 입증할 전망이다.
루빈 아키텍처는 블랙웰 대비 추론 성능을 5배 이상 끌어올리는 것을 목표로 한다. 특히 HBM4(6세대 고대역폭 메모리)를 최초로 도입해 메모리 병목 현상을 원천적으로 해결하겠다는 구상이다. 하이퍼스케일러들이 자체 칩을 통해 특정 워크로드에서 효율을 찾을 때 엔비디아는 어떤 모델이든 즉시 학습하고 구동할 수 있는 범용적 고성능과 독보적인 소프트웨어 생태계 쿠다를 무기로 성벽을 높이고 있다.
월가 애널리스트들은 빅테크들이 자체 칩을 만들더라도 프론티어 모델의 초기 학습과 고사양 연산에는 여전히 엔비디아 칩 외에 대안이 없다고 입을 모운다.
물론 MS의 마이아 200, AWS의 트레이니움3, 구글의 아이언우드 TPU v7 등 하이퍼스케일러들의 반격도 만만치 않다. 이들은 엔비디아 GPU의 높은 가격과 전력 소모를 리스크로 규정했다. 특히 AI 모델의 비즈니스 모델이 학습에서 대규모 서빙(추론)으로 이동하면서, 고가의 범용 GPU 대신 특정 서비스에 최적화된 저렴한 ASIC의 효용성이 극대화되고 있다.
시장조사업체들에 따르면 2026년은 AI 추론용 컴퓨팅 지출이 학습용 지출을 추월하는 해가 될 것으로 보인다. 그리고 구글 TPU가 엔비디아 대비 설치 비용을 약 10분의 1 수준으로 낮출 수 있다는 분석이 나오면서 비용 민감도가 높은 스타트업과 엔터프라이즈 고객들은 빠르게 하이퍼스케일러의 자체 칩 인스턴스로 눈을 돌리고 있다. 앤스로픽이 구글과 AWS의 자체 칩을 대규모로 활용하기 시작한 것이 의미심장한 이유다.
현재 AI 반도체 전쟁의 승패는 설계도를 넘어 누가 실제 칩을 뽑아낼 수 있느냐는 공급망 싸움으로 확산됐다.
우선 2026년분 CoWoS(칩 온 웨이퍼 온 서브스트레이트) 패키징과 HBM 물량은 이미 티어1 하이퍼스케일러들과 엔비디아에 의해 선점된 상태다. 그리고 자금력이 부족한 기업들은 칩을 설계하고도 생산하지 못하거나, 생산한 칩을 꽂을 데이터센터 전력이 부족해 자본이 묶이는 좌초 자산 리스크에 직면해 있다.
이런 가운데 2026년의 AI 지형도는 기성복(엔비디아)과 맞춤복(자체 칩)의 공존으로 요약된다. 엔비디아는 루빈과 블랙웰 울트라를 통해 기술적 정점을 유지하며 고부가가치 시장을 독점하려 할 것이고, MS·AWS·구글은 자사 클라우드 생태계 내에서 자체 칩의 비중을 높여 수익성을 극대화할 전망이다.
업계 관계자는 지금은 빅테크들이 엔비디아의 최대 고객이자 잠재적 경쟁자인 기묘한 동거 관계를 유지하고 있다며 소프트웨어 생태계가 쿠다의 벽을 얼마나 빠르게 허무느냐에 따라 2027년 이후 엔비디아의 독점 체제 지속 여부가 결정될 것이라고 내다봤다.