주메뉴바로가기 본문바로가기
전체메뉴
HOME > Target@Biz > 비즈

"GPU=AI 공식 무너졌나" 차세대 AI 처리장치 급부상 배경은?

학습에서 추론으로, 비용과 수익성까지 고려 대상…GPU 종말 아닌 역할 분담으로 변화

2026.01.13(Tue) 10:49:27

[비즈한국] 지난 수년간 AI 하드웨어 시장을 사실상 지배해온 엔비디아가 최근 추론 특화 칩 스타트업 그록과 200억 달러(약 29조 원) 규모의 계약을 체결했다. 이는 단순한 대형 거래를 넘어 AI 반도체 산업의 흐름이 바뀌고 있음을 알리는 신호로 받아들여진다. 시장에서는 이를 사실상 인수합병에 준하는 빅딜로 보지만, 엔비디아는 전통적인 인수합병이 아닌 기술 라이선스와 핵심 인력 확보 중심의 계약이라는 점을 강조한다. 그록 역시 독립 법인으로 존속한다. 그럼에도 이 계약이 크게 주목받는 이유는 분명하다. AI 하드웨어 시장의 중심 공식이 ‘GPU=AI’에서 벗어나고 있음을 상징적으로 보여주기 때문이다.

 

추론에 최적화된 LPU, 빅테크 내부 전략에 맞춘 TPU, 모바일 환경을 겨냥한 NPU 등 목적별 칩이 등장하며 AI 하드웨어가 다층 구조로 재편되고 있다. 사진=생성형 AI


#엔비디아-그록 ‘협력’ 주목하는 이유

AI 경쟁의 출발점은 학습이었다. 더 큰 모델을 더 빠르게 학습시키기 위한 연산 자원이 필요했고, GPU는 이 요구에 가장 잘 부합하는 도구였다. 엔비디아는 이 흐름을 발판 삼아 AI 시대 최대 수혜 기업으로 떠올랐다. 그러나 AI가 연구 단계를 넘어 본격적인 서비스 국면으로 접어들면서, 산업의 관심은 학습 이후 단계로 이동했다. 이미 학습된 모델을 얼마나 빠르고 안정적으로, 그리고 얼마나 낮은 비용으로 사용할 수 있는지가 새로운 경쟁 요소로 떠올랐다. 이 과정에서 전력 소모와 지연 시간, 운영 비용 문제가 본격적으로 부각됐다.

이 지점에서 주목받기 시작한 것이 추론 특화 칩이다. 그록이 개발한 ‘언어처리장치(LPU)’​는 언어 모델 추론을 전제로 설계된 주문형 반도체(ASIC)다. 범용성을 중시하는 GPU와 달리, 연산 경로를 사전에 정의해 불필요한 분기를 줄이는 구조를 택했다. 이는 지연 시간을 줄이고 전력 효율을 높이는 데 유리하다. 실시간 응답이 중요한 챗봇이나 기업용 AI 서비스 환경에서는 이러한 특성이 곧 비용 경쟁력으로 이어진다. 엔비디아가 자체 GPU 설계의 연장선이 아닌 외부 기술에 손을 내민 이유도 여기에 있다. 추론 영역은 GPU의 독점적 무대가 아니라는 판단이 깔려 있다는 분석이다.

다만 이 선택이 GPU의 역할 축소를 의미하는 것은 아니다. GPU는 여전히 대규모 학습과 범용 AI 가속의 핵심 축이다. 엔비디아의 전략은 GPU를 대체하는 것보다는 GPU가 상대적으로 비효율적인 영역을 보완하는 데 가깝다. 따라서 그록과의 협력은 GPU 중심 구조 위에 추론 특화 기술을 덧붙이기 위한 포석으로 해석된다.

#LPU, TPU, NPU는 뭐가 다른데?

이러한 흐름은 비단 엔비디아만의 고민이 아니다. 구글은 오래전부터 자체 가속기인 ‘텐서처리장치(TPU)’​를 개발해왔다. TPU는 구글 내부 워크로드에 맞춰 설계된 ASIC으로, 검색·번역·추천 같은 핵심 서비스에서 높은 효율을 발휘한다. 이는 외부 GPU 의존도를 줄이고, AI 서비스의 비용 구조를 자사 통제 아래 두려는 전략적 선택이다. TPU는 범용 시장을 겨냥하기보다는 구글 생태계 내부 최적화라는 분명한 목적을 갖고 발전했다.

‘신경망처리장치(NPU)’​는 또 다른 무대에서 존재감을 과시한다. 데이터센터가 아니라 개인의 손안에서다. 애플은 아이폰에 신경망 엔진을 탑재해 AI 연산을 기기 내부에서 처리하는 방향을 선택했다. 이는 배터리 효율과 개인정보 보호, 사용자 경험을 동시에 고려한 결정이다. 삼성전자를 비롯한 스마트폰 제조사들도 NPU 성능을 강화하며 실시간 번역, 사진 보정, 음성 인식 같은 기능을 온디바이스에서 구현하고 있다. NPU는 데이터센터급 추론을 대체하지는 않지만, AI를 일상적인 기능으로 확산시키는 데 중요한 역할을 할 것으로 보인다.

이처럼 LPU, TPU, NPU는 서로 다른 문제의식에서 출발했다. 데이터센터의 비용 부담, 빅테크의 공급망 전략, 모바일 기기의 전력 제약이라는 현실적 요구가 칩의 형태를 분화시켰다. 그 결과 AI 하드웨어는 하나의 칩이 모든 역할을 맡는 구조에서, 목적에 따라 최적화된 칩들이 공존하는 구조로 빠르게 변화하고 있다.

엔비디아 역시 이러한 변화를 부정하지 않는 것으로 보인다. 오히려 NV링크 퓨전(NVLink Fusion) 같은 기술을 통해 외부 ASIC을 자사 시스템에 연결해, 다양한 칩이 혼재된 환경에서도 중심 플랫폼 역할을 유지하려는 전략을 취하고 있다. 하드웨어의 독점이 아니라, 생태계의 연결과 조율을 통해 영향력을 이어가겠다는 계산이다.

따라서 엔비디아와 그록의 협력은 GPU 제국의 종말 선언이라기보다, AI 하드웨어 산업이 성숙 단계로 접어들었음을 보여주는 상징적 장면으로 해석된다. 중심의 경쟁에서 추론과 경제성까지 고려하는 국면으로 이동하는 과정에서 단일 해답은 사라지고 있다. GPU는 여전히 AI 산업에서 핵심을 차지하고 있지만, 더 이상 독무대는 아니다. AI 하드웨어 전쟁은 이제 각자의 역할이 분화된 다층 구조 속에서 더욱 치열해질 전망이다.

봉성창 기자

bong@bizhankook.com

[핫클릭]

· '데이터센터 옆 원자로' 메타가 원자력을 낙점한 속사정
· [가장 보통의 투자] '삼성이즈백' 지금이라도 살까 고민된다면…
· "직접 만든 두쫀쿠, 당근 해요" 이러면 큰일난다
· 세계 1위 시노펙-CNAF 합병, '지속가능 항공유' 패권 가져가나
· "GSK 떠나고 사노피만 남았다" 영유아 백신 국산화 '발등의 불'


<저작권자 ⓒ 비즈한국 무단전재 및 재배포 금지>