스펙 카드 SPEC CARD
NVIDIA GeForce RTX 3090
24GB 대용량 VRAM 소비자용 카드의 중고 시장 유통 강자: AI 추론 및 GPU 임대 시장에서 보유량이 매우 많은 단일 카드. 24GB VRAM + FP32 35.6 TFLOPS로 중소형 모델 추론과 대형 모델 양자화 추론을 커버하며, 중고 매물이 풍부하고 가격이 투명함. 30 시리즈 출시 당시 유일하게(이후 3090 Ti와 함께) NVLink 3.0 양방향 112.5GB/s를 유지해, 듀얼 카드 브리징으로 48GB VRAM 풀을 구성해 소규모 학습/대용량 VRAM 추론이 가능하며 임대 시나리오의 차별화 포인트. 350W 소비 전력으로 임대 서버실 전원 환경에도 무리가 없음. MSRP $1,499
개요
NVIDIA GeForce RTX 3090은 Ampere 아키텍처(GA102 코어) 기반의 플래그십 소비자용 그래픽카드로, 24GB GDDR6X VRAM과 384-bit 버스 폭을 갖추고 있으며 FP32 성능은 35.6 TFLOPS에 달하고 3세대 Tensor Core와 2세대 RT Core를 탑재했다. 24GB의 대용량 VRAM과 충분한 중고 시장 보유량 덕분에 AI 추론 및 GPU 임대 분야에서 널리 활용된다. 또한 30 시리즈에서 소수만 남은 NVLink 3.0(양방향 112.5 GB/s) 지원 모델로, 브리징을 통해 VRAM을 통합할 수 있어 중소형 모델 추론과 대형 모델 양자화 추론 등의 시나리오를 커버한다.
핵심 스펙
| 아키텍처 | Ampere (GA102-300, 82 SM) |
| 메모리 | 24GB GDDR6X |
| 메모리 대역폭 | 936GB/s (19.5Gbps x 384bit) |
| 메모리 버스 폭 | 384bit |
| 연산 성능 | FP32 35.6 TFLOPS / Tensor 142 TFLOPS [284 스파스] |
| CUDA 코어 | 10496 (82 SM) / Tensor Core 328 (3세대) / RT Core 82 (2세대) |
| 소비 전력 | 350W TGP (권장 시스템 파워 750W) |
| 인터커넥트 | PCIe Gen4 x16 + NVLink 3.0 양방향 112.5GB/s (30 시리즈 출시 당시 NVLink를 유지한 유일한 소비자용 카드, 이후 3090 Ti 포함; 40 시리즈부터 제거) |
| 출시 연도 | 2020 (2020-09-01 발표, 2020-09-24 출시, MSRP $1,499) |
| 클럭 | Base 1.40GHz / Boost 1.70GHz |
| 공정 | Samsung 8N, 283억 트랜지스터, 628.4mm² (GA102 풀 버전 84SM:10752 CUDA, 3090은 82개 활성화) |
| 미디어 엔진 | 7세대 NVENC / 5세대 NVDEC |
| 디스플레이 출력 | HDMI 2.1 + DP 1.4a x3, 4화면, HDCP 2.3, 7680x4320 |
| 폼팩터 | FE 3슬롯 313x138mm, 전원 2x8pin (1x12-pin 변환 케이블 포함), 750W 파워 필요 |
| CUDA 컴퓨팅 능력 등급 | Compute Capability 8.6 |
스펙은 공식 자료 기준으로 검증되었습니다(
공식 벤치마크, 2026-10-10 업데이트) · 실제 가격은 판매자 제시가 기준
적용 시나리오
- 중소 파라미터 모델의 로컬 추론 서비스 배포, 24GB VRAM으로 전체 추론 가중치와 KV 캐시 수용 가능
- 대형 모델의 양자화(INT8/INT4 등 저정밀 포맷) 추론, VRAM이 제한적인 환경에서 실행 가능한 오프라인·온라인 추론 방안 제공
- NVLink 3.0 브리징으로 VRAM 통합 구성, 소규모 학습 또는 단일 카드 VRAM을 초과하는 대용량 VRAM 추론 작업에 활용
- 개인 개발자와 대학 연구실의 딥러닝 실험 환경, CUDA Capability 8.6으로 주요 프레임워크 및 연산자와 호환
동일 계열 모델
| 모델 | 메모리 | 소비 전력 |
|---|
| NVIDIA T4 비교 | 16GB GDDR6 with ECC (기본 활성화) | 70W (보드 전체 전력, 기본값) |
| NVIDIA A100 비교 | 40GB HBM2 / 80GB HBM2e 듀얼 버전(80GB 버전은 2020-11-16 SC20에서 추가 공개), ECC 탑재 | SXM4 400W(40GB/80GB 공통); PCIe 버전 40GB 250W / 80GB 300W |
| NVIDIA H20 비교 | 96GB HBM3(Flopper/VipraTech/텐센트 뉴스 3개 소스 일치) | 400W TDP(Flopper/VipraTech 사양표/텐센트 뉴스 '열설계전력 400W' 3개 소스; VipraTech 본문의 350W 상충 수치는 기각) |
| NVIDIA GB300 비교 | 288GB HBM3e(단일 GPU 패키지 기준; 슈퍼칩 576GB; HGX 보드 레벨 2.1TB/랙 20TB 병기) | TGP 최대 1400W |
| NVIDIA A30 비교 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 비교 | 24GB GDDR6X | 450W TGP (평균 게이밍 315W, 권장 시스템 파워 850W) |
영상 해설 VIDEO
구매 및 검수 포인트
- 이 카드는 전체가 3슬롯 설계(Founders Edition 기준 313mm x 138mm)이므로 구매 전 케이스와 메인보드 슬롯 간격을 반드시 확인해야 하며, 멀티 GPU 배치 시 슬롯 간격과 에어플로가 특히 중요하다. 전원은 PCIe 8-pin 2개(1x 12-pin 변환 케이블 포함)가 필요하며, 서버실 배선은 카드 풀 로드 전력을 기준으로 여유를 확보하고 제조사 권장 사양 이상의 시스템 파워를 권장한다
- NVLink를 지원하는 버전을 우선 선택하고, NVLink 브리지가 동봉되었는지 또는 별도 구매 가능한지 확인하라. VRAM 통합 구성을 계획한다면 메인보드와 브라켓의 브리징 호환성도 확인이 필요하다. 참고로 GA102 코어는 GA102-300과 GA102-250 두 가지 배치가 존재하므로, 검수 시 소프트웨어로 CUDA 코어 수(10,496)와 SM 수(82)를 확인하라
- 중고 검수 핵심: VRAM 칩과 전원 모듈이 고부하 운영 이력이 있는지 확인하고, 부하 테스트로 온도(상한 93°C)와 클럭 저하 여부를 관찰하라. 영상 출력이 HDMI 2.1 + 3x DP 1.4a이며 포트 상태가 양호한지 확인하고, PCIe Gen 4 x16 링크 협상이 정상인지 점검해 채굴 카드 리퍼나 VRAM 불량품을 피하라
자주 묻는 질문
RTX 3090의 24GB VRAM으로 대형 모델 추론이 가능한가?
FP16 정밀도 모델의 경우 24GB로 중소 파라미터 모델의 전체 추론을 커버할 수 있다. 더 큰 파라미터 모델은 일반적으로 INT8이나 INT4 등 양자화 방식으로 가중치를 압축한 뒤 배포해야 한다. 또한 이 카드는 NVLink 3.0(양방향 112.5 GB/s)을 유지하고 있어 듀얼 카드 브리징으로 VRAM 풀을 통합해 실행 가능한 모델 규모를 확장할 수 있다.
RTX 3090으로 듀얼 카드 NVLink 학습이 가능한가?
가능하다. RTX 3090은 30 시리즈에서 NVLink를 지원하는 모델 중 하나로, NVLink 3.0이 양방향 112.5 GB/s의 인터커넥트 대역폭을 제공한다. 브리징 후 두 카드의 VRAM을 통합 사용할 수 있어 소규모 학습 작업이나 단일 카드 VRAM 용량을 초과하는 추론 워크로드에 적합하다. 단, 별도의 NVLink 브리지가 필요하며 브라켓 간격이 맞는지 확인해야 한다.
중고 RTX 3090 검수 시 주의할 점은?
다음 사항을 중점 확인할 것을 권장한다. 첫째, GPU-Z 등의 도구로 사양이 정품과 일치하는지 확인(CUDA 코어 10,496, SM 82, 24GB GDDR6X, 384-bit 버스). 둘째, 지속적인 VRAM·코어 스트레스 테스트를 진행해 온도(상한 93°C) 이상 여부, 클럭 저하나 화면 깨짐 현상을 관찰. 셋째, 전원 커넥터(2x PCIe 8-pin)와 영상 출력 포트 상태, PCIe Gen 4 x16 링크 협상 정상 여부를 확인하라.
자료 업데이트 2026-10-10 · 심층 항목 업그레이드는
편집 방침 프로세스