终于找到好用的语音情感分析工具，附详细步骤
1. 背景与需求：为什么需要语音情感分析？
在智能客服、会议纪要、在线教育、心理评估等场景中，仅靠“语音转文字”已无法满足对用户情绪和语境理解的需求。传统ASR（自动语音识别）模型只能输出文本内容，而真实的人机交互需要感知说话人的情绪状态——是开心、愤怒还是悲伤？背景中是否有掌声或笑声？这些信息对于提升用户体验和系统响应智能化至关重要。
阿里达摩院开源的SenseVoiceSmall模型正是为此类需求量身打造。它不仅支持多语言高精度语音识别，还具备情感识别与声音事件检测能力，真正实现了“富文本转录”（Rich Transcription）。本文将带你从零开始部署并使用该模型，手把手完成语音情感分析全流程。
2. 技术选型：为何选择 SenseVoiceSmall？
面对市面上众多语音识别方案（如 Whisper、Paraformer、Emotion2Vec），我们为何推荐SenseVoiceSmall？以下是其核心优势：
- ✅多语言支持：中文、英文、粤语、日语、韩语均可识别。
- ✅情感标签识别：自动标注
<|HAPPY|>、<|ANGRY|>等情绪标签。 - ✅环境音事件检测：可识别 BGM、掌声、笑声、哭声等非语音内容。
- ✅低延迟推理：基于非自回归架构，在 RTX 4090D 上实现秒级转写。
- ✅开箱即用 WebUI：集成 Gradio 可视化界面，无需编码即可操作。
相比其他模型，SenseVoice 在中文情感理解方面表现尤为突出，且原生支持富文本输出，极大简化了后处理流程。
3. 镜像环境准备与启动
3.1 获取镜像并初始化环境
本教程基于预置镜像“SenseVoiceSmall 多语言语音理解模型 (富文本/情感识别版)”，已集成以下依赖：
- Python 3.11
- PyTorch 2.5
funasr,modelscope,gradio,av- FFmpeg（音频解码支持）
若镜像未自动运行服务，请按以下步骤手动配置：
# 安装必要库 pip install av gradio -y3.2 创建 WebUI 启动脚本
创建文件app_sensevoice.py，内容如下：
import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用 GPU 加速 ) def sensevoice_process(audio_path, language): if audio_path is None: return "请上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建 Gradio 界面 with gr.Blocks(title="SenseVoice 智能语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 多语言语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 支持中、英、日、韩、粤语自动识别 - 🎭 自动检测开心、愤怒、悲伤等情绪 - 🎸 自动标注 BGM、掌声、笑声、哭声等事件 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果（含情感与事件）", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)3.3 运行服务
执行命令启动 Web 服务：
python app_sensevoice.py注意：首次运行会自动下载模型权重（约 1.8GB），建议保持网络畅通。
4. 本地访问 WebUI 界面
由于云平台通常限制公网直接访问端口，需通过 SSH 隧道进行本地映射。
4.1 建立 SSH 隧道
在本地电脑终端执行以下命令（替换[端口号]和[SSH地址]为实际值）：
ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]连接成功后，打开浏览器访问：
👉 http://127.0.0.1:6006
你将看到如下界面：
- 左侧：音频上传区 + 语言选择下拉框
- 右侧：带格式的情感化文本输出
5. 实际测试与结果解析
5.1 测试音频准备
准备一段包含多种情绪和背景音的音频（例如会议发言、访谈片段或短视频录音），推荐使用.wav或.mp3格式，采样率 16kHz 最佳。
5.2 上传并识别
- 点击“上传音频”按钮导入文件
- 语言选择设为
auto（自动识别） - 点击“开始 AI 识别”
等待几秒后，右侧输出框将显示结构化文本，示例如下：
大家好！<|HAPPY|> 今天是我们项目上线的大日子，团队付出了很多努力。<|BGM: light_music|> 不过刚才测试时出现了一个 bug...<|SAD|> 我知道大家都很疲惫。<|PAUSE_LONG|> 但请相信我们一定能解决！<|ANGRY|><|LOUD|> 现在立刻排查问题！5.3 输出标签说明
| 标签类型 | 示例 | 含义 |
|---|---|---|
| 情感标签 | `< | HAPPY |
| `< | ANGRY | |
| `< | SAD | |
| 声音事件 | `< | BGM: jazz |
| `< | LAUGHTER | |
| `< | APPLAUSE | |
| `< | CRY | |
| 其他 | `< | PAUSE_LONG |
| `< | LOUD |
这些标签可用于后续的情绪趋势分析、会议摘要生成、客户满意度评分等高级应用。
6. 关键技术细节与优化建议
6.1 模型加载参数详解
model = AutoModel( model="iic/SenseVoiceSmall", trust_remote_code=True, vad_model="fsmn-vad", # 使用 FSMN-VAD 进行语音活动检测 vad_kwargs={"max_single_segment_time": 30000}, # 单段最长 30 秒 device="cuda:0" # 强制使用 GPU )use_itn=True：启用 ITN（Inverse Text Normalization），将数字、日期等标准化。batch_size_s=60：每批处理最多 60 秒音频，适合长语音分段处理。merge_vad=True：合并相邻语音段，减少碎片化输出。
6.2 性能优化技巧
| 场景 | 优化策略 |
|---|---|
| 短音频批量处理 | 设置batch_size提高吞吐量 |
| 实时流式识别 | 使用model.streaming()接口 |
| CPU 推理 | 移除device="cuda:0"，但速度显著下降 |
| 中文专用场景 | 固定language="zh"提升准确率 |
6.3 后处理函数的作用
rich_transcription_postprocess()函数负责将原始模型输出中的<|TAG|>转换为更易读的形式，例如：
<|HAPPY|>→ “(情绪：开心)”<|BGM: pop|>→ “[背景音乐：流行]”
你也可以自定义此函数以适配业务系统需求。
7. 常见问题与解决方案
7.1 问题一：模型加载报错ModuleNotFoundError: No module named 'modelscope'
原因：缺少核心依赖库
解决方法：
pip install modelscope funasr torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu1187.2 问题二：音频无法播放或格式不支持
原因：未安装 FFmpeg 或av库缺失
解决方法：
apt-get update && apt-get install ffmpeg -y pip install av7.3 问题三：WebUI 打不开或连接超时
检查点：
- 是否正确建立 SSH 隧道？
- 服务是否监听
0.0.0.0:6006？ - 防火墙或安全组是否放行对应端口？
可通过netstat -tuln | grep 6006查看端口占用情况。
8. 总结
SenseVoiceSmall 是目前少有的集多语言识别、情感分析与声音事件检测于一体的开源语音理解模型。通过本文介绍的部署方式，你可以快速搭建一个可视化语音情感分析平台，适用于以下场景：
- 客服对话质量监控
- 在线课堂学生情绪反馈分析
- 视频内容自动打标
- 心理健康辅助评估系统
更重要的是，整个过程无需深度学习背景，借助 Gradio WebUI 即可实现“零代码”体验强大 AI 能力。
未来可进一步探索：
- 将识别结果接入数据库做长期情绪趋势分析
- 结合 LLM 对富文本内容生成摘要报告
- 部署为 REST API 供其他系统调用
掌握这项技术，意味着你已经迈入了“感知型语音交互”的新时代。
9. 参考资料
- GitHub 项目地址：https://github.com/FunAudioLLM/SenseVoice
- ModelScope 模型页：https://www.modelscope.cn/models/iic/SenseVoiceSmall
- FunASR 文档：https://funasr.readthedocs.io
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
