【AI】字節豆包開源MoE關鍵優化技術,大模型訓練成本省四成

《經濟通通訊社10日專訊》據《證券時報》報道,字節豆包大模型團隊宣布開源一項針對
MoE(混合專家)架構的關鍵優化技術,可將大模型訓練效率提升1﹒7倍,成本節省40%
。據悉,該技術已實際應用於字節的萬卡集群訓練,累計幫助節省了數百萬GPU小時訓練算力
。(sl)

Read More 

You may also like...

Generated by Feedzy