浪潮信息宣布元腦企智DeepSeek一體機(jī)推出“雙模”版,單機(jī)可同時(shí)部署、運(yùn)行671B參數(shù)的DeepSeek R1與V3模型,并可高性能支持2000用戶并發(fā)服務(wù),結(jié)合元腦企智EPAI企業(yè)大模型應(yīng)用開發(fā)平臺(tái),將為各行業(yè)用戶提供強(qiáng)大、好用、易部署的大模型應(yīng)用系統(tǒng)。
“快思考”與“深度思考”并行,賦能企業(yè)效率提升
DeepSeek V3 與 DeepSeek R1 模型均基于混合專家架構(gòu)(MoE)與多頭潛在注意力(MLA)技術(shù)底座,但在技術(shù)路徑與應(yīng)用定位上展現(xiàn)出差異化發(fā)展方向。
■ DeepSeek V3 (671B/685B):以低成本和高通用性見長,適合廣泛的應(yīng)用場(chǎng)景,如智能客服、多語言翻譯、內(nèi)容生成等,能夠高 效處理各種文本生成、摘要和對(duì)話任務(wù)。DeepSeek V3-0324模型在長文本理解、多輪對(duì)話與通用問答等方面表現(xiàn)提升明顯;
■ DeepSeek R1 (671B):通過強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了專業(yè)領(lǐng)域的推理突破,專注于復(fù)雜邏輯推理任務(wù),如數(shù)學(xué)證明、代碼生成和決策分析,支持“思維鏈”輸出,展示推理過程,提升透明度和可信度。
DeepSeek一體機(jī)作為一種高 效、經(jīng)濟(jì)、安全的私有化交付方式,已逐漸成為企業(yè)用戶快速實(shí)現(xiàn)本地化部署DeepSeek R1 671B或DeepSeek V3 671B/685B模型的重要途徑。企業(yè)在實(shí)際業(yè)務(wù)運(yùn)行中,簡單和實(shí)時(shí)任務(wù)要求快速推理,復(fù)雜邏輯、跨領(lǐng)域、創(chuàng)造性任務(wù)則需要深度思考。如何通過一臺(tái)DeepSeek一體機(jī)同時(shí)實(shí)現(xiàn)“快思考”和“深度思考”,企業(yè)根據(jù)任務(wù)特性合理分配兩種推理模式,顯著提升問題解決的效率與質(zhì)量,充分發(fā)揮DeepSeek在實(shí)際業(yè)務(wù)場(chǎng)景中的價(jià)值,這也成為了業(yè)界更為關(guān)注的研究方向。
元腦企智DeepSeek一體機(jī),支持671B R1和V3同機(jī)運(yùn)行
浪潮信息團(tuán)隊(duì)針對(duì)用戶的這一迫切需求,從AI 服務(wù)器、推理框架、大模型應(yīng)用軟件等多個(gè)方面開展適配與優(yōu)化工作,推出元腦企智DeepSeek一體機(jī),已適配支持DeepSeek R1 671B、DeepSeek V3 671B/685B模型,實(shí)現(xiàn)了“快思考”與“深度思考”能力的全面融合,助力企業(yè)用戶在全場(chǎng)景下充分釋放DeepSeek大模型能力。
元腦企智DeepSeek一體機(jī)NF5698A7原生支持FP8計(jì)算引擎,以1536GB HBM3顯存、5.3 TB/s 內(nèi)存帶寬實(shí)現(xiàn)了顯存容量與通信效率的黃金組合,適配 DeepSeek R1模型“短輸入長輸出、顯存帶寬敏感”的技術(shù)特性,單機(jī)支持全量DeepSeek R1與V3模型推理情況下,仍保留充足的KV緩存空間,配合896 GB/s P2P帶寬的高速通信架構(gòu),在保障單機(jī)部署張量并行效率的同時(shí),實(shí)現(xiàn)大模型推理解碼階段的加速,為DeepSeek R1與V3模型提供強(qiáng)勁算力支撐與穩(wěn)定運(yùn)行保障。
此外,得益于超 大顯存,浪潮NF5698A7服務(wù)器能夠同時(shí)部署、運(yùn)行DeepSeek R1與DeepSeek V3模型,為用戶帶來了“開箱即用”的解決方案,降低了DeepSeek模型部署的技術(shù)門檻,快速實(shí)現(xiàn)大模型在業(yè)務(wù)中的應(yīng)用。