浪潮信息團隊針對用戶的這一迫切需求,從AI 服務器、推理框架、大模型應用軟件等多個方面開展適配與優化工作,推出元腦企智DeepSeek一體機,已適配支持DeepSeek R1 671B、DeepSeek V3 671B/685B模型,實現了“快思考”與“深度思考”能力的融合,助力企業用戶在全場景下充分釋放DeepSeek大模型能力。
元腦企智DeepSeek一體機NF5698A7原生支持FP8計算引擎,以1536GB HBM3顯存、5.3 TB/s 內存帶寬實現了顯存容量與通信效率的黃金組合,適配 DeepSeek R1模型“短輸入長輸出、顯存帶寬敏感”的技術特性,單機支持全量DeepSeek R1與V3模型推理情況下,仍保留充足的KV緩存空間,配合896 GB/s P2P帶寬的高速通信架構,在保障單機部署張量并行效率的同時,實現大模型推理解碼階段的加速,為DeepSeek R1與V3模型提供強勁算力支撐與穩定運行保障。
此外,得益于超大顯存,浪潮NF5698A7服務器能夠同時部署、運行DeepSeek R1與DeepSeek V3模型,為用戶帶來了“開箱即用”的解決方案,降低了DeepSeek模型部署的技術門檻,快速實現大模型在業務中的應用。