AI推理加速卡

高吞吐AI推理卡,INT8算力32TOPS,FP32/BF16双精度支持,支持主流模型优化,适用于云端和边缘推理部署。

32TOPSBF16/FP16模型优化高吞吐

产品参数

INT8算力32 TOPS
FP32算力2.0 TFLOPS
BF16/FP1616 TFLOPS
内存LPDDR4x 8GB/16GB
内存带宽32GB/s
接口PCIe 3.0 x4
功耗典型 30W
制程12nm
视频解码H.264/H.265 32路1080p
视频编码H.264/H.265 12路1080p

实际性能以第三方测试为准

常见问题

Q:这块推理卡算力多少?

A:INT8算力32 TOPS,FP32 2.0 TFLOPS,BF16/FP16 16 TFLOPS,内存LPDDR4x 8/16GB。

Q:支持哪些精度?

A:支持FP32/BF16/FP16/INT8等多种精度,适配不同推理模型对精度的要求。

Q:部署在哪里?

A:既适用于云端推理服务器,也适用于边缘推理设备,接口PCIe 3.0 x4。

← 返回产品列表