跳到正文
原文
Google Research·· 14 天前精选AI 评分62

Retrieve-for-Train:绕过推理瓶颈,加速复杂AI搜索

Bypassing inference bottlenecks: Accelerating complex AI search with Retrieve-for-Train

AI 导读

Google Research提出Retrieve-for-Train框架,用离线强化学习发现属性对齐的查询扩展并编译为监督信号,再蒸馏到53.9M参数的扩散检索器,实现单次非自回归查询扇出。实验显示该方法在开放抽象检索和弱监督组合检索上均优于单查询搜索、零样本扩展和Best-of-N基线,同时实现12–20倍的推理加速。

推荐理由

用离线RL把查询分解编译成监督信号,再注入轻量扩散检索器,在保持集合级属性的同时把推理延迟压低一到两个数量级。

来源:Google Research · research.google