跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 43 条
8月18日周二
  1. Hugging Face Blog62

    Dharma AI:GPU管理实践——相同集群提升33个百分点利用率

    Dharma AI发布约束感知GPU分配器,在七种基准场景中对比FIFO调度器,相同硬件与负载下GPU利用率提升最多33个百分点,优先级加权输出最多提升105%。该方法将实时推理视为需求曲线而非固定预留,按优先级跨整个调度 horizon 放置批量任务,并通过22维特征预测训练负载与周需求画像来支撑调度决策。

    推荐理由:同一集群通过调整分配顺序而非更换硬件,实现了最高33个百分点的利用率提升,为企业GPU调度提供了可复用的约束感知方法。

8月14日周五
  1. Hugging Face Blog74

    Strands Robots、LeRobot 与 Hugging Face Storage Buckets 打通录制、训练与部署循环

    Strands Robots 演示了用 Storage Bucket 记录 LeRobot 格式数据、通过字节级去重同步、从 Hub 流式读取训练、再以 mode='real' 部署到物理机器人的完整循环。示例使用 SO-100 机械臂和 mock policy,配套 notebook 在模拟环境即可运行。

    推荐理由:原文给出一条从录制到训练再到部署的完整数据循环,读者可据此判断它会怎样改变现有机器人工作流。

8月6日周四
  1. Google DeepMind76

    WeatherNext AI 模型在气旋预报上实现突破,预测精度平均提前一天

    Google DeepMind 发布 WeatherNext 模型,在气旋路径、强度和风场预测上平均比前代多出一天预报精度,相当于十年气象进展。该模型已在 Nature 发表论文,并在 2025 年飓风季帮助 NHC 对 Hurricane Melissa 做出历史性预报。

    推荐理由:该模型在气旋路径、强度和风场预测上平均多出一天预报精度,相当于十年气象学进展,并已开源模型与代码供研究社区使用。

8月4日周二
  1. Microsoft Research82

    Orchard:面向可扩展智能体 AI 的开源框架

    Microsoft Research 发布开源框架 Orchard,核心是 Orchard Env,一个基于 Kubernetes 的可复用环境服务,支持软件工程、网页导航和个人助理智能体的训练与评估。

    推荐理由:开源框架 Orchard 把训练、评估与真实部署 harness 打通,让小参数模型也能在 SWE-bench 等基准接近前沿系统。

7月31日周五
7月29日周三
  1. Berkeley AI Research62

    K-Search:从 CUDA 到 MLX 的内核优化迁移研究

    Berkeley Sky Lab 与 IBM Research 将 K-Search 进化式内核搜索框架扩展至 MLX 后端,通过结构化 CUDA-to-MLX 翻译层在 Apple Silicon 上复现专家级性能。在注意力内核上达到原生 MLX 的 0.97 倍速度,Mamba SSM prefill 相比社区 mlx-lm 提升约 20 倍;代码与后端已开源。

    推荐理由:结构化翻译层让 CUDA 经验可迁移到 Apple Silicon,读者可借此评估跨平台内核优化的可行边界。

7月23日周四
  1. Hugging Face Blog68

    Nunchaku Lite 正式接入 Diffusers,4-bit 量化扩散模型推理无需额外推理引擎

    Nunchaku Lite 现已原生集成到 Diffusers,用户可通过 from_pretrained() 直接加载 4-bit 量化扩散模型,无需单独推理引擎或本地 CUDA 编译。

    推荐理由:Nunchaku Lite 现已原生接入 Diffusers,无需额外引擎即可通过 from_pretrained() 加载 4-bit 量化模型,在 RTX 5090 上 VRAM 从 24GB 降至约 12GB,推理加速约 30%。

7月15日周三
  1. Hugging Face Blog65

    Thinking Machines 发布 Inkling 多模态开源模型

    Inkling 由 Thinking Machines 发布,是一个原生接收图像、文本和音频输入的大规模多模态开源模型,总参数约 1T、活跃参数 41B,支持 1M 上下文窗口。

    推荐理由:Inkling 是原生接收图音文三模态的大规模开源模型,提供 BF16 与 NVFP4 双版本及 day-0 支持的推理引擎,读者可据此评估其在多模态推理基准中的相对位置。

7月8日周三
  1. Hugging Face Blog65

    transformers vLLM 后端达到原生推理速度

    Hugging Face 更新 vLLM 的 transformers 建模后端,在 Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B-FP8 三种模型上达到或超越原生 vLLM 吞吐。模型作者只需添加 --model-impl transformers 标志即可自动获得优化推理,无需手写自定义实现。

    推荐理由:transformers 后端现已达到原生 vLLM 实现同等吞吐,模型作者无需重写代码即可在 vLLM 中获得优化推理性能。

7月7日周二
  1. Berkeley AI Research60

    Intelligence is Free, Now What? Data Systems for, of, and by Agents

    Berkeley EAIR 发表观点文章,探讨当推理成本接近零时数据系统面临的三重挑战:Data Systems For Agents(为智能体推测性查询重新设计,如共享扫描与近似答案)、Data Systems Of Agents(为多智能体集群提供结构化记忆与协调子层)、Data Systems By Agents(由智能体从零合成定制数据系统并验证正确性)。

    推荐理由:原文从推理成本骤降切入,提出数据系统需为智能体重塑的三重挑战,为理解Agent与数据基础设施的共演化提供了一个可迁移的分析框架。

  2. Hugging Face Blog70

    SkyPilot 集成 Hugging Face Storage:零 egress 跨云读取 Hub 数据

    Hugging Face 与 SkyPilot 联合推出 store: hf 存储后端,用 hf:// URL 将 HF Bucket 或 Hub repo 挂载到 SkyPilot 任务,实现跨云 GPU 任务零 egress 读取。

    推荐理由:Hugging Face Storage 成为 SkyPilot 官方存储后端,团队可在任意云上运行 GPU 任务并免费读取 Hub 数据,无需跨云拷贝或承担 egress 费用。

  3. Hugging Face Blog82

    LeRobot v0.6.0 发布:Imagine, Evaluate, Improve

    LeRobot v0.6.0 发布,引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新 VLA 模型(GR00T N1.7、MolmoAct2、EO-1、Multitask DiT、EVO1)和奖励模型 API(Robometer、TOPReward)。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

6月23日周二
  1. Mistral AI64

    Mistral OCR 4 发布

    Mistral 发布 OCR 4,支持 170 种语言的单容器自托管文档解析,返回边界框、区块分类与内联置信度。

    推荐理由:独立标注者平均 72% 偏好 OCR 4,配合单容器自托管与结构化输出,为企业 RAG 和智能体工作流提供了兼顾数据主权与提取精度的 OCR 方案。

6月11日周四
  1. Google DeepMind64

    Google DeepMind 发布 DiffusionGemma:4 倍加速的并行扩散文本生成实验模型

    Google DeepMind 发布开源实验模型 DiffusionGemma,采用并行扩散架构替代逐 token 生成,在本地 GPU 上实现最高 4 倍推理加速。

    推荐理由:DiffusionGemma 采用并行扩散架构替代传统逐 token 生成方式,在本地 GPU 上实现最高 4 倍推理加速,为交互式本地工作流提供了新的速度方案。

5月28日周四
  1. Google Research62

    Google Research 提出零信任聚合实现隐私分析

    Google Research 发布零信任聚合协议,结合格密码学单次提交与可信执行环境证明,用于 Android SafetyCore 等隐私保护场景。新协议允许设备单条消息完成加密聚合,委员会机制辅助解密并注入差分隐私噪声,同时通过 TEE 证明确保协议按公开代码正确执行。

    推荐理由:零信任架构将单次消息加密聚合与TEE证明结合,为大规模隐私分析提供了可验证的多层安全方案。

5月17日周日
5月16日周六
3月31日周二
  1. Mistral AI61

    Spaces:为人类与 AI 代理打造的 CLI

    Mistral AI 发布 Spaces CLI,为人类开发者和 AI 智能体提供统一命令行接口。文章提出交互输入应有 flag 等价、状态显式化、插件可自省等原则,并指出生成 context.json 和 AGENTS.md 可显著减少智能体错误。从单提示到部署上线仅需不到 10 分钟。

    推荐理由:原文系统阐述了让 CLI 同时服务人类与 AI 智能体的设计原则,涵盖 flag 等价、显式状态、插件化等模式,读者可据此构建更可组合、可脚本化的开发者工具。

3月25日周三
  1. Google Research67

    Google 发布 Vibe Coding XR,结合 Gemini 与 XR Blocks 加速原生 XR 应用原型

    Google Research 发布 Vibe Coding XR 工作流,将 Gemini 与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言提示转为具备物理感知的可运行 Android XR 应用,整个过程不到 60 秒。

    推荐理由:原文给出了从自然语言到可运行 Android XR 应用的端到端流程与实测基线,读者可据此判断自身原型开发是否值得接入。

  2. Google Research60

    TurboQuant:通过极致压缩重新定义 AI 效率

    Google Research 提出 TurboQuant 压缩算法,在零精度损失下将 KV cache 压缩至 3 bits,并在 H100 上实现 8x 注意力计算加速。配合 QJL 与 PolarQuant 方法,在 LongBench 等长上下文基准上保持模型性能,同时显著降低内存与检索开销。

    推荐理由:原文给出 TurboQuant 在 KV cache 和向量搜索上的压缩比与速度提升数据,读者可据此评估其工程落地价值。