跳到正文
原文
Hugging Face Blog·· 6 天前精选AI 评分62

Liquid AI 发布 LFM2.5-VL-3B DSpark 草稿模型加速视觉语言推理

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 为 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过推测解码在不改变输出质量的前提下加速推理。草稿模型增加 280M 参数(+8.9%),在 M5 Max 上解码加速 2.30x-3.13x、端到端加速 1.56x-2.62x;在 H100 上解码加速 20.4x-2.66x、端到端加速 1.64x-2.27x。

推荐理由

原文给出了具体加速数据和多框架支持,读者可据此评估在边缘设备或 GPU 上部署该草稿模型的性价比。

来源:Hugging Face Blog · huggingface.co