高吞吐AI推理卡,INT8算力32TOPS,FP32/BF16双精度支持,支持主流模型优化,适用于云端和边缘推理部署。
实际性能以第三方测试为准
Q:这块推理卡算力多少?
A:INT8算力32 TOPS,FP32 2.0 TFLOPS,BF16/FP16 16 TFLOPS,内存LPDDR4x 8/16GB。
Q:支持哪些精度?
A:支持FP32/BF16/FP16/INT8等多种精度,适配不同推理模型对精度的要求。
Q:部署在哪里?
A:既适用于云端推理服务器,也适用于边缘推理设备,接口PCIe 3.0 x4。