SECTIONS
EDITIONS
NETWORK
AIXXPedia연산 분야의 백과사전
스펙 카드 SPEC CARD

Intel Gaudi 3

Intel의 현역 AI 가속기 플래그십(2024 Vision 발표), 이더넷 네이티브 RoCE 인터커넥트로 NVLink 폐쇄 생태계에 도전하는 서드파티 연산 카드, IBM 클라우드와 Dell XE9680에 실제 배포되어 백과사전의 벤더 커버리지를 완성

개요

Intel Gaudi 3는 Intel이 대규모 AI 학습 및 추론을 위해 선보인 가속기 제품군으로, TSMC 5nm 공정과 듀얼 다이 아키텍처를 채택했습니다. 두 개의 동일한 컴퓨팅 다이가 인터포저를 통해 브리지된 고대역폭·저지연 인터커넥트로 협업합니다. MME 매트릭스 엔진은 BF16과 FP8에서 모두 1678 TFLOPS의 연산 성능을 제공하며, 64개의 TPC 유닛과 8개의 MME 유닛을 갖추고 있습니다. 메모리는 128 GB HBM2e(16GB 스택 8개)이며, 온칩 SRAM 96 MB를 추가로 탑재했습니다. 이 제품은 네이티브 이더넷 RoCE 인터커넥트가 특징으로, OAM(HL-325L)과 PCIe(HL-338) 두 가지 폼팩터로 제공되며, 대형 모델 학습, 추론 배포, 데이터센터 클러스터 확장 등에 활용됩니다.

핵심 스펙

아키텍처Gaudi 3 (5세대 이기종 AI 가속 아키텍처, 2개의 identical compute die가 interposer로 브리지되며 소프트웨어에 투명, TSMC 5nm)
메모리128GB HBM2e (8×16GB stacks, 3.6GHz, 듀얼 die 통합 어드레싱)
메모리 대역폭3.7 TB/s 피크
연산 성능MME 매트릭스: FP8 1678 / BF16 1678 / FP16(signed) 459 / TF32 459 / FP32 229 TFLOPS; TPC 벡터: FP8 57.3 / BF16 28.7 / FP16 28.7 / FP32 14.3 TFLOPS
연산 엔진8× MME (MME당 64K MACs) + 64× TPC 코어 (듀얼 다이 합계)
온칩 SRAM96MB (읽기/쓰기 12.8/6.4 TB/s)
소비 전력OAM HL-325L: 900W TDP (패시브 쿨링; 수랭 역시 900W) | PCIe HL-338 카드: 600W TDP (패시브 쿨링)
인터커넥트24× 200GbE RoCE (양방향 합계 1200GB/s, 48×112G PAM4 SerDes 경유; 카드당 21포트 GPU 간 인터커넥트 + 3포트 scale-out) + PCIe Gen5 x16 호스트 인터페이스 (128GB/s, 단방향 64GB/s)
미디어 디코딩14개 미디어 디코더
폼팩터OAM HL-325L (OCP OAM 2.0 미자닌) / PCIe HL-338 카드 (CEM 5.1) / HLB-325 범용 베이스보드 (8카드 all-to-all 풀 인터커넥트, 6× OSFP800 scale-out)
출시 연도2024 (2024-04-09 Intel Vision 발표, 2024년 2분기 OEM 출시)
스펙은 공식 자료 기준으로 검증되었습니다(공식 벤치마크, 2026-10-10 업데이트) · 실제 가격은 판매자 제시가 기준

적용 시나리오

동일 계열 모델

모델메모리소비 전력
Intel Gaudi 2 비교96GB HBM2E (6× HBM2E stacks)OAM 모듈: 600W TDP
Intel Data Center GPU Max 1550 비교128GB HBM2e(Xe-Stack마다 독립 HBM2e stack 장착; Aurora 단일 카드 STREAM 실측 2.1TB/s)600W TDP(ARK 공식; Aurora ECP 실제 구성은 CPU/GPU 4kW 균형 조건에서 GPU 지속 500W 수준)
Intel Data Center GPU Max 1100 비교48GB HBM2e(ARK 공식; SURF 노드 구성 기록 'Max 1100 48G XeLink')300W TDP

영상 해설 VIDEO

구매 및 검수 포인트

자주 묻는 질문

Intel Gaudi 3는 전세대 Gaudi 2에 비해 얼마나 향상되었나요?
Intel이 Vision 2024에서 발표한 기준에 따르면, Gaudi 3는 Gaudi 2 대비 4배의 BF16 AI 연산 성능과 1.5배의 메모리 대역폭 향상을 제공하며, 공정도 Gaudi 2의 7nm에서 5nm로 업그레이드되고, 아키텍처는 인터포저로 인터커넥트하는 듀얼 다이 설계로 변경되었습니다.
Gaudi 3의 OAM 버전과 PCIe 버전의 차이는 무엇인가요?
OAM 버전(HL-325L)은 고밀도 클러스터 노드용으로, 카드 간 21조의 OAM 간 링크로 풀 인터커넥트를 구현하고 HLB-325 베이스보드로 8카드 시스템을 구성하며, 외부로 24포트 200GbE RoCE를 제공합니다; PCIe 버전(HL-338)은 표준 PCIe CEM 5.1 인터페이스를 채택해 범용 서버에 직접 장착 가능하며, 네트워킹과 배치 방식이 더 유연하지만 인터커넥트 토폴로지와 밀도는 OAM 솔루션에 미치지 못합니다.
Gaudi 3 사용에 필요한 네트워크 환경은? 전용 인터커넥트 프로토콜에 의존하나요?
Gaudi 3는 네이티브로 이더넷 RoCE 인터커넥트를 채택하며, 각 OAM은 24개 200GbE(48개 112G PAM4 SerDes로 구현)를 제공합니다. 이 중 21개는 OAM 간 인터커넥트에, 3개는 외부 확장에 사용됩니다. 즉 사용자는 표준 이더넷 스위치로 클러스터를 구축할 수 있고 폐쇄형 전용 인터커넥트 생태계에 의존하지 않지만, 200GbE RoCE를 지원하는 스위치와 상응하는 광 인터커넥트 자원을 준비해야 합니다.
심층 읽기:Intel Data Center GPU Max 1100 · 심층 항목Intel Data Center GPU Max 1550 · 심층 항목AIXX Pedia · 심층 항목
자료 업데이트 2026-10-10 · 심층 항목 업그레이드는 편집 방침 프로세스
본 아카이브
편집 방침본 아카이브 소개 (이해관계 선언)정정 채널
편집 헌장 요약
모든 서술에 출처 명기단점 필수 기재 · 정정 이력 공개유료 항목 수락 안 함항목 내 유도·판매 요소 제로시세 데이터는 데이터 모듈 마운트 용도로만 사용
AIXX 패밀리
AIXX 백과사전AIXX 거래소AIXX 뉴스
시세 데이터 출처:AIXX 거래소 · © 2026 AIXX 백과사전 AIXX Pedia · AIXX 제공