🎯

AI推理服务器

预装4-8卡AI推理加速卡的整机系统,高吞吐推理集群,预装推理引擎与模型管理平台,适用于生产级推理部署。

4-8卡推理引擎模型管理生产部署

产品规格

加速卡4~8×AI推理加速卡
总算力INT8 128~256 TOPS
总内存32~128GB LPDDR4x
CPUARM 8核 / x86可选
系统内存32GB~64GB DDR4
存储512GB NVMe SSD
网络千兆以太网
功耗整机 ~300W
尺寸2U/4U 机架式

预装软件栈

常见问题

Q:这把AI推理服务器算力多大?

A:预装4-8张AI推理加速卡,INT8总算力128~256 TOPS,系统内存32-64GB DDR4。

Q:预装了哪些软件?

A:预装推理引擎(ONNX Runtime/TensorRT)、模型管理平台(版本管理/A-B测试/灰度发布)、自动扩缩容+负载均衡、推理监控面板(QPS/延迟/吞吐)。

Q:适合什么场景?

A:适合企业生产级AI推理部署,如已训练好模型的线上服务、高并发推理业务等。

← 返回产品列表