【AI】騰訊混元推出「極小」模型HY-1.8B-2Bit,僅佔用600MB內存

《經濟通通訊社10日專訊》今日,騰訊混元宣布正式推出一款面向消費級硬件場景的「極
小」模型HY-1﹒8B-2Bit,等效參數量僅有0﹒3B,內存佔用僅600MB。

據介紹,該模型基於混元團隊首創的產業級2Bit端側量化方案,通過對此前混元的小尺
寸語言模型HY-1﹒8B-Instruct進行2比特量化感知訓練(QAT)產出,對比
原始精度模型等效參數量降低了6倍,在沿用原模型全思考能力

Read More 

You may also like...

Generated by Feedzy