Linly-Talker在商场导购机器人的实际部署案例

Linly-Talker在商场导购机器人中的实践探索

在大型商业综合体里，顾客常常面对琳琅满目的品牌和复杂的楼层布局，一句“最近有什么优惠？”“化妆品区怎么走？”成了高频问题。传统的人工导览员虽亲切，但人力成本高、服务时间有限；而冷冰冰的语音播报或静态屏幕又难以吸引用户停留。有没有一种方式，既能7×24小时在线，又能像真人一样自然交流？

答案正在浮现——基于AI数字人的智能导购系统。其中，开源项目Linly-Talker凭借其端到端整合能力，在多个商场试点中实现了快速落地。它不需要3D建模团队，也不依赖专业动画师，仅用一张员工照片，就能驱动一个会说话、有表情、能应答的虚拟导购员。

这背后并非简单的“语音+画面”拼接，而是一套高度协同的技术栈：从听懂你说什么（ASR），到理解你想问什么（LLM），再到用对的声音说出来（TTS），最后让嘴型和情绪同步匹配（面部驱动）。整个流程要在1.5秒内完成，才能让用户感觉“这个人真的在听我讲话”。

我们来看这套系统是如何运作的。

当一位顾客站在导购机器人前说：“我想买儿童玩具，在几楼？”声音首先通过麦克风阵列被捕获。此时，系统并不急于处理整段语音，而是先启动VAD（语音活动检测）模块，精准切出有效语段，避免环境噪音干扰。接着，这段音频被送入ASR模型——通常是基于Whisper架构的小型化版本，因为它在中文识别上的鲁棒性表现优异。

import whisper model = whisper.load_model("small") # 轻量级模型适合边缘部署 def speech_to_text(audio_file): result = model.transcribe(audio_file, language="zh") return result["text"]

几毫秒后，“我想买儿童玩具，在几楼？”这段文字就出来了。但这还只是“听见”，远未达到“听懂”。接下来的任务交给了LLM，也就是系统的“大脑”。

这里很多人会误以为大模型越大越好，但在实际部署中，响应速度与资源消耗才是关键制约因素。我们测试过多种方案，最终选择了量化后的Qwen-7B-Chat-int8模型。它在保持较强语义理解能力的同时，可以在RTX 3060这样的消费级显卡上实现低于800ms的推理延迟。

from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_path = "/models/Qwen-7B-Chat-int8" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", torch_dtype=torch.float16 ) def generate_response(prompt): inputs = tokenizer(prompt, return_tensors="pt").to("cuda") outputs = model.generate( **inputs, max_new_tokens=128, temperature=0.7, do_sample=True ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response.split("ASSISTANT:")[-1].strip()

当然，直接把原始提问喂给模型是不行的。我们需要设计合理的提示模板（Prompt Template），引导模型以客服口吻作答，并结合商场知识库进行约束。例如：

“你是一名商场虚拟导购员，请根据以下信息回答用户问题：
- 玩具反斗城位于三楼东区
- 当前正在进行‘开学季’促销活动，部分商品享8折
回答应简洁明了，包含位置指引和必要推荐。”

这样生成的回答就不会天马行空，也不会出现“我不知道”这类消极回应。更重要的是，LLM具备一定的上下文记忆能力，支持多轮对话。比如用户追问：“那乐高专区呢？”系统能自动关联前文，回答：“也在三楼，靠近扶梯右侧。”

得到文本回复后，下一步是“说出来”。如果只是机械朗读，体验依然生硬。因此，TTS不仅要自然，还得有“人设”。我们采用了PaddleSpeech的FastSpeech2 + HiFi-GAN组合，配合预训练的“甜美女声”音色，打造出符合商场调性的虚拟形象声音。

from paddlespeech.t2s import TTSExecutor tts_executor = TTSExecutor() def text_to_speech(text, output="output.wav"): wav_file = tts_executor( text=text, voice="biaobei", # 可替换为定制克隆音色 am="fastspeech2_zh", voc="hifigan_csmsc", output=output ) return wav_file

值得一提的是，语音克隆功能虽然强大，但必须谨慎使用。我们曾尝试复刻某位店长的声音，结果因未获得明确授权而暂停该功能上线。合规永远比炫技更重要。

最后一步，是让这张静态的脸“活起来”。很多团队初期会选择播放预制视频，但那只能应对固定话术。真正的交互式体验，需要实时驱动面部动画。

Linly-Talker采用的是Wav2Lip类模型，输入语音和参考图像，输出就是口型同步的视频流。它的原理是利用语音编码器提取音素特征，再映射到嘴唇的关键动作帧上。尽管目前对眨眼、眉毛等微表情控制还不够精细，但在日常对话场景下已足够自然。

from facer import FaceAnimator import cv2 animator = FaceAnimator(checkpoint="wav2lip_gan.pth") def animate_talker(image_path, audio_path, output_video): out = cv2.VideoWriter(output_video, cv2.VideoWriter_fourcc(*'mp4v'), 25, (480, 640)) for frame in animator.drive(image_path, audio_path): out.write(frame) out.release()

为了保证效果，我们对输入图像做了严格要求：正脸、清晰、无遮挡、光照均匀。一次失败的尝试是用了戴眼镜的照片，导致动画时出现脸部扭曲。后来改为专门拍摄一张标准证件照作为数字人源图，问题迎刃而解。

整个系统的运行流程如下：

[用户语音] ↓ [VAD检测 → 截取有效片段] ↓ [ASR转写 → 文本] ↓ [LLM理解 → 生成回复] ↓ [TTS合成 → 音频波形] ↓ [动画驱动 → 视频流] ↓ [屏幕播放 + 扬声器输出]

各模块以Docker容器封装，主控程序负责调度协调。硬件方面，推荐配置为i5以上CPU、RTX 3060 GPU、16GB内存和256GB SSD。外设包括定向麦克风阵列、高清扬声器和触控屏。最关键的一点是：核心模型全部本地部署。商场网络不稳定，若依赖云端API，一旦断网整个系统就瘫痪了。我们坚持“离线优先”策略，仅将匿名化后的日志上传至服务器用于后续优化。

在真实环境中，我们也遇到不少挑战。

比如嘈杂环境下ASR识别率下降。解决方案是在前端增加降噪模块，并搭配四麦阵列提升信噪比。实测显示，信噪比每提高5dB，识别准确率可提升约7%。

另一个问题是延迟感。即使每个模块都很快，累积起来也可能超过2秒，用户就会觉得“反应迟钝”。我们的优化手段包括：
- 对常见问题缓存TTS音频和动画结果；
- 使用INT8量化压缩模型体积；
- 在LLM推理时启用KV Cache复用；
- TTS采用chunk-based流式生成，边合成边播放。

现在，端到端响应时间稳定在1.2~1.5秒之间，接近人类对话的自然节奏。

更深层次的设计考量还包括交互安全与用户体验平衡。例如，禁止摄像头采集用户人脸，所有语音数据脱敏存储，符合《个人信息保护法》要求。同时设置兜底机制：当LLM可能生成不当内容时，触发默认回复：“这个问题我还不太清楚，建议您咨询人工服务台。”

从应用效果看，这套系统带来的改变是实实在在的。试点商场反馈：
- 人工导览咨询量减少32%；
- 促销信息触达率提升45%；
- 用户平均停留时长从18秒增至67秒；
- 外籍顾客可通过切换语言模式获得服务，助力国际化运营。

更重要的是，这种模式具备极强的可复制性。同一套框架稍作调整，就能迁移到银行大堂经理、医院导诊员、机场问询台等场景。我们甚至看到有团队将其用于养老院陪护机器人，用已故亲人的声音片段重建对话体验——技术的温度，往往体现在这些细节之中。

未来方向也很清晰：更轻、更快、更像人。

模型压缩技术如GGUF格式、MoE稀疏激活，能让大模型跑在更低功耗设备上；边缘计算芯片的发展将进一步降低部署门槛；而情感计算的融入，则有望让数字人不仅能“说话”，还能“共情”——根据语气判断用户情绪，适时展现微笑或关切神情。

Linly-Talker的意义，不只是提供了一个工具包，更是展示了一种可能性：无需百万预算、无需专业团队，中小企业也能拥有自己的AI代言人。当技术真正下沉到一线场景，普惠的价值才得以彰显。

这条路才刚刚开始。