概述OVERVIEW
Tesla T4 是 NVIDIA Turing 世代的单槽低功耗推理卡(官方 Datasheet 口径,2026-11 核验):
2560 CUDA 核 + 320 Tensor Core(Turing 二代)、16GB GDDR6 · 320GB/s、FP32 8.1 TFLOPS、
INT8 130 TOPS(稀疏 260)、70W · 单槽低剖面 · 被动散热——全球装机量最大的边缘推理卡,
云厂商推理实例与企业推理服务器的主力卡型(生态口径)。
沿革HISTORY
- 2018-09:Turing 世代发布(T4 随 SIGGRAPH 公布·官方口径)。
- 2018-2025:云厂商推理实例规模化装机(AWS G4/阿里云 GN6i 等实例标准卡·云厂商口径)——全球保有量最大的推理卡之一。
- 现役:T4 与 A10/L4 并行为推理实例三大主力(L4 为新代接续·L4 词条)。
推理卡三代对照GENERATIONS
| 维度 | Tesla T4(本词条·官方口径) | NVIDIA A10(词条) | NVIDIA L4(词条) |
| 架构 | Turing · TU104 | Ampere · GA102 | Ada · AD104 |
| 显存 | 16GB GDDR6 · 320GB/s | 24GB GDDR6 · 600GB/s | 24GB GDDR6 · 300GB/s |
| INT8 | 130 TOPS(稀疏 260) | 125 TOPS(稀疏 250) | —(官方页为准) |
| 功耗/形态 | 70W · 单槽低剖面 | 150W · 单槽被动 | 72W · 单槽被动 |
| 定位 | 边缘推理王(密度优先) | 推理+图形三能 | 视频+推理新代 |
口径:T4 列=NVIDIA 官方 Datasheet(2026-11 核验);A10/L4 列=各自官方 Datasheet 口径。三卡同为被动散热低功耗推理线——代际升级核心在架构与编码器。
技术规格SPECS
| 项目 | 规格(NVIDIA 官方 Datasheet 口径) |
| 架构 | Turing · TU104 · 二代 Tensor Core |
| CUDA | 2560 核 · FP32 8.1 TFLOPS |
| Tensor | 320 个 Turing Tensor Core |
| INT8 | 130 TOPS(稀疏 260·官方口径) |
| FP16 | 65 TFLOPS(Tensor) |
| 显存 | 16GB GDDR6 · 320GB/s(ECC 开启 300GB/s) |
| 功耗/形态 | 70W · 单槽低剖面 · 被动散热 · PCIe 3.0 x16 |
| 编解码 | NVDEC/NVENC 转写引擎(视频推理双能) |
| AI 栈 | CUDA · TensorRT · Triton(推理栈·生态口径) |
模型适配MODEL FIT
| 场景 | 16GB 显存的适配口径(推算:权重×精度+开销) |
| 7B 级 INT8/4-bit | 推理舒适——单卡高密度部署(推算口径) |
| 14B 级 4-bit | 贴边缘可容(推算口径)——16GB 上限约束余量 |
| 视频转写 | NVDEC/NVENC 硬编解——视频 AI 推理双能(官方口径) |
局限与边界LIMITS
- PCIe 3.0:总线代际——PCIe 4.0 环境下带宽受限(官方规格口径)。
- 训练不定位:推理专精卡——训练场景上移 A100/H100 线(架构边界如实)。
- 16GB 上限:大模型场景受限——24GB 档看 A10,48GB 档看 L20/L40S。
- ECC 降带宽:ECC 开启时带宽 300GB/s(官方口径)——部署按需权衡。
常见问题FAQ
T4 为什么装机量这么大?
三件:①70W 单槽低剖面——任何服务器即插即用 ②16GB GDDR6——推理容量与功耗的最优性价比档 ③Turing Tensor Core——INT8/FP16 量化推理全兼容(官方口径)——全球云厂商推理实例的主力卡。
T4 的 AI 算力多少?
官方口径:FP32 8.1 TFLOPS · INT8 130 TOPS(稀疏 260)· FP16 65 TFLOPS(Tensor)——推理档专精,训练场景不定位(架构边界如实)。
T4 和 A10 怎么选?
功耗档位差异:T4=70W 单槽(边缘/密度优先);A10=150W 单槽(24GB·推理+图形三能·<a href='/wiki/nvidia-a10.html'>词条</a>)——T4 适合高密度部署,A10 适合大模型推理(24GB vs 16GB 差 8GB)。
参考资料REFERENCES
- NVIDIA:Tesla T4 Datasheet(官方规格 2026-11 核验) · 原文
- NVIDIA:Tesla T4 官方产品页 · 原文
영상 강의VIDEO