跳到正文
原文
Hugging Face Blog·· 9 天前精选AI 评分62

像物理学家一样剪枝大语言模型:块移除作为约束二元优化问题

Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem

AI 导读

Multiverse Computing 将 LLM 深度剪枝重构为约束二元优化问题,等价于全耦合伊辛自旋玻璃,用 Hessian 能量作为下游质量代理,避免逐条评测。

推荐理由

把深度剪枝重新表述为伊辛自旋玻璃优化问题,可用廉价能量代理替代逐条评测,且与量化、低秩压缩等手段堆叠。

来源:Hugging Face Blog · huggingface.co