今天是DeepSeek開源周第二日,一早,DeepSeek如約就放出了開源代碼庫DeepEP王炸。
據(jù)了解,DeepEP是首個(gè)用于 MoE 模型訓(xùn)練和推理的開源 EP 通信庫,它填補(bǔ)了MoE模型專用通信工具的空白,為大規(guī)模分布式AI訓(xùn)練和實(shí)時(shí)推理場景提供了更高效的底層支持。
在這里,簡單介紹一下DeepEP的技術(shù)性能特點(diǎn):
1、高效通信架構(gòu)
支持優(yōu)化的全對(duì)全通信模式,實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間的NVLink與RDMA互聯(lián),提升數(shù)據(jù)傳輸效率
2、多精度與調(diào)度優(yōu)化
原生支持FP8低精度運(yùn)算調(diào)度,降低計(jì)算資源消耗。
3、重性能內(nèi)核
據(jù)介紹,高吞吐量內(nèi)核可適用于訓(xùn)練和推理預(yù)填充場景,最大化數(shù)據(jù)處理能力;
4、低延遲內(nèi)核
它針對(duì)推理解碼場景設(shè)計(jì),采用純RDMA通信和自適應(yīng)路由技術(shù),減少延遲。
5、資源控制與重疊機(jī)制
通過靈活的GPU資源控制策略,實(shí)現(xiàn)計(jì)算與通信過程的高效重疊,避免資源閑置。
6、深度優(yōu)化場景
針對(duì)NVLink到RDMA的非對(duì)稱帶寬轉(zhuǎn)發(fā)場景進(jìn)行專項(xiàng)優(yōu)化,提升異構(gòu)網(wǎng)絡(luò)下的傳輸性能;
此外,它還支持SM(Streaming Multiprocessors)數(shù)量動(dòng)態(tài)控制,平衡不同任務(wù)(如訓(xùn)練與推理)的吞吐量需求。
發(fā)布日期: 2024-05-14
發(fā)布日期: 2024-10-25
發(fā)布日期: 2023-07-04
發(fā)布日期: 2023-11-28
發(fā)布日期: 2024-06-20
發(fā)布日期: 2024-03-14
發(fā)布日期: 2024-05-08
發(fā)布日期: 2024-04-24
發(fā)布日期: 2025-03-06
發(fā)布日期: 2025-03-06
發(fā)布日期: 2025-03-06
發(fā)布日期: 2025-03-06
發(fā)布日期: 2025-03-06
尋找更多銷售、技術(shù)和解決方案的信息?
廣州綠測電子科技有限公司(簡稱:綠測科技)成立于2015年11月,是一家專注于耕耘測試與測量行業(yè)的技術(shù)開發(fā)公司。綠測科技以“工程師的測試管家”的理念向廣大客戶提供專業(yè)的管家服務(wù)。綠測科技的研發(fā)部及工廠設(shè)立于廣州番禺區(qū),隨著公司業(yè)務(wù)的發(fā)展,先后在廣西南寧、深圳、廣州南沙、香港等地設(shè)立了機(jī)構(gòu)。綠測科技經(jīng)過深耕測試與測量領(lǐng)域多年,組建了一支經(jīng)驗(yàn)豐富的團(tuán)隊(duì),可為廣大客戶提供品質(zhì)過硬的產(chǎn)品及測試技術(shù)服務(wù)等支持。
技術(shù)工程師
銷售經(jīng)理
020-22042442
廣東公司:馮經(jīng)理
020-2204 2442-9-822
廣西公司:何經(jīng)理
020-2204 2442-9-880