Hugging Face Blog·· 6 天前精选AI 评分62
Liquid AI 发布 LFM2.5-VL-3B DSpark 草稿模型加速视觉语言推理
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 为 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过推测解码在不改变输出质量的前提下加速推理。草稿模型增加 280M 参数(+8.9%),在 M5 Max 上解码加速 2.30x-3.13x、端到端加速 1.56x-2.62x;在 H100 上解码加速 20.4x-2.66x、端到端加速 1.64x-2.27x。
推荐理由
原文给出了具体加速数据和多框架支持,读者可据此评估在边缘设备或 GPU 上部署该草稿模型的性价比。
来源:Hugging Face Blog · huggingface.co