如何在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用（Part 1）
在 Amazon SageMaker AI 上用 AWS vLLM-Omni DLC 部署 Qwen3-TTS，文本与音频经同一条持久双向连接传输，语音可在整段生成完成前开始播放。
#多模态
#多模态
今日 2 条AWS Machine Learning BlogAI 评分4949 AWS Machine Learning BlogAI 评分4141 在 SageMaker AI 上用 vLLM-Omni 生成图像和视频（第 2 部分）
同一 AWS vLLM-Omni DLC 在 SageMaker AI 部署两个端点：FLUX.2-klein-4B 实时生成图像，Wan2.1-VACE-1.3B 再异步把该图像做成短视频。
Google Research精选AI 评分6060 Google Research 推出自动化一致长形式视频生成框架
Google Research 推出 Co-Director、CANVAS、A²RD 和 VQQA 等框架，自动化长形式视频生成，缓解语义漂移并提升多镜头叙事一致性。
推荐理由：Google Research 推出 Co-Director、CANVAS、A²RD 和 VQQA 等多代理框架，自动化一致的长形式视频生成，有效缓解语义漂移和特征漂移，提升多镜头叙事一致性。
Google DeepMind精选AI 评分6363 Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，已在 Gemini Enterprise 上线
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，把近实时视频生成与语音对话结合，为企业对话模型加上动态视觉形象，已在 Gemini Enterprise 上线。
推荐理由：原文给出实时视频形象与异步工具调用的能力说明，读者可据此了解企业智能体的交互形态变化。
Google DeepMind精选AI 评分6868 Gemini 3.7 Flash 等模型上线智能体视频理解，token 消耗最高降 88%
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，视频分析 token 消耗最高降低 88%、成本最高降低 66%、准确率最高提升 7%。
推荐理由：原文给出了 token 与成本降幅的具体数字和 API 启用方式，读者可据此判断长视频分析的成本边界。
Google DeepMind精选AI 评分6969 Google DeepMind 发布 Gemini Omni 1.1 Flash，新增场景续写与 4K 放大等控制能力
Google DeepMind 发布 Gemini Omni 1.1 Flash，面向开发者提供场景续写、首尾帧插值、视频参考和 4K 放大等生成视频控制能力。
推荐理由：相比前代只参考最后 1 秒画面，新版本可读取 10 秒上下文并把视频续写到 40 秒，开发者可据此判断生成视频的可控程度。
Microsoft ResearchAI 评分4444 MindTopo 揭示 VLM 的空间推理能力
微软研究院的新基准 MindTopo 发现，专有与开放权重多模态模型在静态拓扑推理上明显强于交互规划，且都远低于人类。它按连续性、分离、顺序、包围和绳结五类，测试静态场景问答，以及模拟环境中须维持或改变关系的动作规划。规划失败常在理解场景之后出现，模型失去对结构关系的追踪，或提出违反环境约束的动作。
Mistral AIAI 评分5959 Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载。它把内容审核建模为推理时传入纯语言策略的问答任务，无需重新训练即可适配新策略，在文本安全上匹配最高 7 倍规模的开源 guard 模型，并在多模态审核上刷新 SOTA。模型可在单张 16GB NVIDIA GPU 上运行。
Google DeepMind精选AI 评分6969 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布两款生成模型，Nano Banana 2 Lite 面向高吞吐的快速出图，Gemini Omni Flash 面向高质量视频生成与对话式编辑，均已上线 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform。
推荐理由：Nano Banana 2 Lite 每张 1K 图 0.034 美元、Omni Flash 每秒视频 0.10 美元，读者可据此比较两款模型在图像与视频环节的成本取舍。
Mistral AIAI 评分5858 Mistral AI 发布 Mistral OCR 3，表单与手写识别整体胜率提升 74%
Mistral AI 发布 Mistral OCR 3，模型可通过 API（mistral-ocr-2512）或 Mistral AI Studio 中的 Document AI Playground 使用，定价为每 1,000 页 $2，Batch API 折扣后为每 1,000 页 $1。