2026 年 3 月 26 日,Google 发布 Gemini 3.1 Flash Live。 同一天,Google 还宣布 Search Live 全球扩展,让用户在支持 AI Mode 的国家和语言里,可以直接通过语音和摄像头与搜索进行实时对话。把这两个发布放在一起看,重点其实不是“Google 又推了一个新模型”,而是AI 交互范式正在换挡。
过去几年,主流使用方式还是“输入一段文字,等模型生成一段回答”。 但这次 Google 明确押注的是另一条路线:
低延迟语音
视觉上下文
实时来回对话
工具调用嵌入会话流
更长时间的连续 session
这意味着,下一代 AI assistant 不再只是“回答器”,而更像一个能实时观察、理解、检索、回应的交互系统。
一、这次更新最值得注意的,不是语音输出,而是“会话模型”变了
从 Google 官方说明看,Gemini 3.1 Flash Live 的定位不是传统语音转文本组件,也不是简单的 TTS 外挂,而是面向 real-time dialogue 的 live model。官方给出的几个关键词非常值得关注:
更低延迟
更自然的 rhythm
更强的 tonal understanding
更好的 task execution
面向 voice-first agent
这背后对应的,其实不是单一能力提升,而是整个交互回路被改写。
旧的文本问答链路更像这样:
用户输入 -> 模型读完整输入 -> 生成完整输出 -> 用户继续下一轮
而实时语音+视觉链路更接近:
音频流/图像流持续进入 -> 模型持续更新理解 -> 在合适时机即时回应 -> 用户可以打断/补充 -> 系统继续保持会话状态
这两者最大的区别在于后者不是按“回合”工作,而是按“流”工作。Google 在官方文档里对 Live API 的定义也非常直接:它支持 continuous streams of audio, images, and text,通过同一条持久连接返回低延迟响应。这已经不是标准 chat completion 的工作方式了。
二、从官方文档看,Google 实际上在公开一套“实时多模态会话架构”
如果只看产品新闻,容易把 Gemini 3.1 Flash Live 理解成“一个更自然的语音模型”。 但看完开发文档,会发现它真正开放的是一套面向实时交互的接口模型。
import asyncio from google import genai client = genai.Client(api_key="YOUR_API_KEY") model = "gemini-3.1-flash-live-preview" config = {"response_modalities": ["AUDIO"]} async def main(): async with client.aio.live.connect(model=model, config=config) as session: print("Session started") # Send content... if __name__ == "__main__": asyncio.run(main())这段代码来自官方Get started with Gemini Live API using the Google GenAI SDK 文档。它看起来很简短,但有两个信息量很大的点:
1. 会话是持久的
这里不是一次请求一次响应,而是 live.connect(...) 建立一条持续 session。这意味着模型运行方式正在从 stateless request 走向 stateful session。
2. 输出模态是可配置的
response_modalities允许直接指定音频输出,这说明语音不再只是后处理层,而是模型交互路径的一部分。
这也是为什么 Google 在官方 Live API 文档里把输入规范写得非常明确: 音频输入是16-bit PCM, 16kHz ,图像按帧发送,协议使用WebSocket ,本质上就是把模型接进了实时流媒体场景。
三、为什么“低延迟”在这里不是体验优化,而是系统约束
实时语音交互最容易被低估的,是延迟对系统结构的影响。在文本产品里,1 到 3 秒的响应很多用户都能接受。但语音对话不是这样。只要停顿稍长,用户会立刻感知到系统没听懂、系统卡住了、对话不自然、打断和续接不顺等。所以 Google 这次反复强调 latency,并不是单纯宣传“更快”,而是在说明它针对的是另一种应用类型:conversation-speed interaction。官方文档里发送音频流的示例也很直接:
# Assuming 'chunk' is your raw PCM audio bytes await session.send_realtime_input( audio=types.Blob( data=chunk, mime_type="audio/pcm;rate=16000" ) )这里最关键的词是send_realtime_input 。它说明输入不是等用户说完之后统一提交,而是边说边送。对于系统设计来说,这会连带影响很多层:
前端采集粒度
网络传输方式
服务端缓冲策略
语音检测机制
模型推理触发时机
工具调用插入点
所以这波变化本质上不是“把输入框换成麦克风”,而是把交互从离散式提交,改成了流式协作。
四、视觉进入会话之后,输入不再是“问题”,而是“现场”
Search Live 的真正分水岭,不只是可以说话,而是可以打开摄像头继续问。
Google 官方在 Search Live is expanding globally 的文章里写得很清楚:用户可以在 Google app 里直接开启Live语音发问;如果要询问眼前的东西,比如安装一个架子,也可以打开摄像头,把视觉上下文一起给到系统。
这意味着,AI 交互的输入结构从过去系统只拿到一句话到现在现在系统拿到的是:
当前语音
之前会话历史
摄像头看到的场景
搜索工具返回结果
网页链接与结构化信息
输入不再只是“query”,而是“scene + intent + context”。
Google 官方文档里发送视频帧的示例如下:
# Assuming 'frame' is your JPEG-encoded image bytes await session.send_realtime_input( video=types.Blob( data=frame, mime_type="image/jpeg" ) )这段代码本身不复杂,但它把一个事实说得很清楚:多模态不是把图片附件扔给模型,而是把视觉流纳入会话。一旦进入这个阶段,很多传统文本应用里的设计习惯就不够用了,比如:
只围绕 prompt 设计上下文
只按轮次组织状态
只接文本型知识源
只在回答前做一次检索
这些在实时视觉会话里都会显得过窄。
五、实时语音+视觉为什么会把“会话管理”抬到更高优先级
另一个常被忽视的点,是 session 的长度和恢复能力。
Google Live API 文档里专门有一章讲Session management :
不压缩上下文时,audio-only session 有时长限制
audio+video session 默认更短
可以通过 context window compression 延长会话
可以通过 session resumptio 在连接断开后恢复 session
官方示例里,context_window_compression 的配置是这样的:
from google.genai import types config = types.LiveConnectConfig( response_modalities=["AUDIO"], context_window_compression=( types.ContextWindowCompressionConfig( sliding_window=types.SlidingWindow(), ) ), )这段代码背后传达的信息是Google 已经默认开发者会遇到长会话、上下文膨胀、连接重建这些问题。也就是说,实时 AI 交互不只是“识别音频然后回答”,而是开始接近一个长期运行的交互进程。这和传统 chatbot 的差别非常大。 传统 chatbot 更像 request-response 服务; 而实时多模态 agent 更像一个带状态的会话 runtime。
六、工具调用在实时会话里开始变成“内嵌动作”,而不是外挂步骤
从官方文档看,Live API 也支持 tool calling。Google 给出的 Python 示例是:
async for response in session.receive(): if response.tool_call: function_responses = [ ] for fc in response.tool_call.function_calls: # 1. Execute the function locally result = my_tool_function(**fc.args) # 2. Prepare the response function_responses.append(types.FunctionResponse( name=fc.name, id=fc.id, response={"result": result} )) # 3. Send the tool response back to the session await session.send_tool_response(function_responses=function_responses)这一段的意义不在于“模型也能调函数”,这件事大家已经不陌生了。 真正值得注意的是:函数调用现在发生在 live session 里。这代表一种新的工作方式:用户一边说,系统一边判断是否需要外部工具,工具结果返回后继续进会话,对话不中断,节奏尽量保持自然。这比“先说完、再检索、再生成”的线性链路更贴近真实互动。 同时也意味着,上游工具和数据接口必须更稳定、更结构化,因为它们已经被放进了实时路径。
七、从这个热点往下看,真正被重新定义的其实是“数据输入层”
如果把 Gemini 3.1 Flash Live + Search Live 看成一次交互升级,那它向下游传导的第一个变化,其实不是模型,而是数据。原因很简单。 当用户开始问这类问题时:
“你看看我现在屏幕上的内容”
“我正在看的这个商品值不值得买”
“这条视频主要在讲什么”
“现在这个关键词搜索里是谁排前面”
“帮我结合画面和网页结果判断一下”
系统就不可能只依赖模型内部参数了。 它必须有能力把外部世界里的内容接进来,而且还要尽量保持实时。这时候,数据输入层就会遇到新的要求:
不只是文本采集,还要处理音视频与图像相关信息
不只是拿原始页面,还要返回结构化字段
不只是一次性导入,还要适应连续查询和热数据更新
不只是“抓到内容”,还要能进入语音/视觉 agent 的工作流
也就是说,交互升级会反过来推着数据基础设施升级。
八、Dataify补足多模态数据入口
如果顺着这个逻辑看,Dataify 切入点是:当 AI 交互变成实时、多模态、带外部上下文的系统之后,公开数据如何以更可用的形式进入会话链路。结合 Dataify 官网公开的产品结构,这条线其实很清晰:
SERP API 解决搜索结果页数据接入
Web Scraper / Universal Scraping 解决网页正文与复杂页面结构化提取
Video Scraping 处理视频、频道、播放列表、评论、互动指标、字幕和元数据这类更典型的多模态公开数据
多领域数据集与相关处理能力,则让音视频、社交媒体、电商等场景的数据准备更靠近 AI 应用本身
Google 解决的是“模型如何实时听、看、说、调用工具”。 而 Dataify 更像是在补“这些实时系统要读什么外部数据,数据怎么进来,进来之后是不是结构化可用”。
这尤其适合下面几类场景:
语音助手结合搜索结果和网页正文做即时答复
视觉问答叠加视频评论、字幕、元数据进行补充判断
多模态 agent 在会话中动态调用公开数据接口
面向市场研究、内容洞察、竞品跟踪的实时分析系统
也就是说,交互层和数据层在这一轮不是平行关系,而是开始直接耦合。
九、这次事件真正值得记住的一点
如果只把 Gemini 3.1 Flash Live 看成一次产品更新,很容易低估它。 但如果把它和 Search Live 全球扩展放在一起,就会看到一个更明确的趋势:AI 正在从“文本生成接口”变成“实时多模态交互系统”。
一旦进入这个阶段,系统建设重点会发生位移:
从 prompt 优化,转向 session 设计
从一次性回答,转向连续对话控制
从纯文本知识源,转向多模态外部输入
从模型能力单点提升,转向模型、工具、数据一起协作
这也是为什么这条新闻值得单独拿出来分析。 它讨论的已经不是“语音好不好听”,而是下一代 AI 系统的基本交互形态。
结尾
AI 的下一步,不只是更会写,而是更会听、更会看、更会在实时场景里持续互动。而一旦交互走向实时语音与视觉,外部数据的组织方式也必须跟着改变。 系统需要的不再只是静态文本,而是能被实时调用、能跨模态组织、能进入连续会话的数据输入层。
Dataify 把搜索、网页、视频等公开数据做成结构化、多模态采集能力的平台,会在这波趋势里变得更有意义。 它不是 Live API 的替代品,但它可以成为这类实时 AI 系统背后的数据入口。