财报电话会议纪要自动生成

财报电话会议纪要自动生成：从模型到落地的全链路实践

在金融信息处理领域，每季度的财报电话会议是投资者、分析师和企业内部决策者获取关键经营数据的重要窗口。然而，一场长达数小时的会议录音，往往需要专业人员花费数小时逐字整理、提炼要点——不仅效率低下，还容易遗漏关键细节。随着大语言模型（LLM）能力的跃升，自动化生成高质量会议纪要已不再是遥不可及的设想。

但问题也随之而来：如何将一个通用大模型，精准转化为能理解财务语境、输出专业摘要的“行业专家”？更重要的是，在资源有限的生产环境中，能否在单卡甚至边缘设备上完成训练与部署？

答案正在浮现。以ms-swift为代表的新型AI工程化框架，正通过“轻量微调 + 强化对齐 + 高效推理”的组合拳，让这一场景真正具备了落地可行性。

我们不妨设想这样一个系统：上传一段英文财报通话录音，10分钟内收到一份结构清晰、术语准确、重点突出的中文摘要，包含营收增长、利润变化、未来指引等核心模块，并支持导出为标准Word文档。这背后的技术链条其实并不复杂，但每一个环节都需精心设计。

首先是语音转文本（ASR）。目前 Whisper-large-v3 或阿里自研的 Paraformer 已能稳定处理多说话人、带口音的金融对话场景。原始转录文本通常充满“呃”、“嗯”、重复修正和非正式表达，因此紧接着需要做文本清洗与段落切分——按发言人角色或话题转折点进行逻辑分割，为后续建模提供干净输入。

真正的挑战在于语义理解和摘要生成。这里的关键不是让模型“复述”，而是“提炼”。比如当CEO说：“尽管Q2宏观环境承压，我们在亚太市场的订阅收入仍实现了双位数增长，尤其是SaaS产品线表现强劲”，模型应能识别出“市场区域：亚太”、“业务类型：SaaS”、“指标：订阅收入”、“趋势：双位数增长”并归纳为一句简洁陈述。

如果直接使用未经调整的Qwen3-7B这类基座模型，输出往往会显得泛泛而谈，缺乏财务文书特有的严谨性和信息密度。更糟糕的是，它可能自行“脑补”未提及的数据，造成事实性错误。这就引出了第一个核心技术选择：轻量微调（PEFT）。

LoRA 成为了当前最主流的解决方案。其思想非常直观：不碰动庞大的主干参数，仅在注意力层的 $q_proj$、$v_proj$ 等模块旁引入低秩矩阵 $A \cdot B$ 来学习增量更新。数学上表示为：

$$
W’ = W + \Delta W = W + A \cdot B, \quad A\in\mathbb{R}^{m\times r}, B\in\mathbb{R}^{r\times n}, r \ll \min(m,n)
$$

这意味着对于一个7B参数的模型，实际训练参数可压缩至十万级别，显存占用从上百GB降至9~12GB，使得在单张A10甚至T4上训练成为可能。在ms-swift中，这一切只需一个YAML配置文件即可启动：

model: qwen3-7b tuner: type: lora rank: 64 alpha: 128 dropout: 0.05 target_modules: - q_proj - v_proj - k_proj - o_proj training: per_device_train_batch_size: 2 gradient_accumulation_steps: 8 max_steps: 1000 learning_rate: 1e-4 output_dir: ./output/qwen3-lora-financial-summary

这套配置已在多个客户的实际项目中验证，仅用不到1500条人工标注的财报摘要样本，经过千步微调后，就能显著提升模型在ROUGE-L和FactScore上的得分。尤其值得注意的是，target_modules的选择至关重要——只作用于注意力头而非MLP层，既能保证效果又避免过拟合。

但微调之后的问题依然存在：模型虽然学会了“怎么说”，却未必知道“说什么更好”。例如，面对同一段内容，它可以生成三种版本：
- 版本一：“公司本季收入增长稳健。”
- 版本二：“Q3总收入达28.7亿元，同比增长14%，超出市场预期。”
- 版本三：“管理层强调基本面强劲，未来将持续投入研发。”

显然，版本二是最符合专业要求的：有具体数字、有同比比较、有外部参照系。这种“偏好”很难通过监督学习完全教会，必须借助强化学习机制来引导。

这正是GRPO族算法发挥作用的地方。作为ms-swift内置的一套广义偏好优化方法，GRPO 不依赖复杂的奖励模型（RM），而是允许开发者直接定义规则化的奖励函数。例如：

def financial_summary_reward(output_text): keywords = ['revenue', 'profit', 'EPS', 'guidance', 'growth'] keyword_score = sum(1 for kw in keywords if kw.lower() in output_text.lower()) # 长度合理性打分 word_count = len(output_text.split()) length_penalty = 0 if word_count < 50: length_penalty = -1 elif word_count > 200: length_penalty = -0.5 # 重复句检测惩罚 repeat_penalty = -0.5 if has_repeated_sentences(output_text) else 0 return keyword_score * 0.3 + length_penalty + repeat_penalty

这个简单的函数就编码了三条经验法则：必须包含关键财务词、不能太短也不能啰嗦、杜绝重复表述。结合vLLM引擎加速采样，GRPO可以在几小时内完成一轮策略优化，使模型逐步学会优先生成高分输出。

有趣的是，我们在实践中发现，先SFT再RL的两阶段流程效果远优于单一路径。SFT负责“教会知识”，RL则“塑造风格”。有些团队尝试跳过SFT直接用RL训练，结果往往是模型陷入局部最优，反复输出模板化句子而丧失多样性。

整个系统的架构也因此变得清晰起来：

[原始音频] ↓ (ASR转录) [会议文字稿] → [文本清洗 & 分段] ↓ [Prompt工程模块] → [Qwen3-7B + LoRA 微调模型] ↓ [GRPO强化学习优化] ↓ [vLLM推理引擎加速输出] ↓ [结构化摘要文档]

其中，Prompt工程常被低估，实则极为关键。一个好的提示词应当明确任务结构，例如：

“请根据以下电话会议记录，生成一份正式财报摘要，分为三个部分：1）本期业绩亮点；2）成本与利润分析；3）管理层未来展望。每部分不超过三句话，使用客观陈述语气，避免主观推测。”

这样的指令能极大提升输出一致性。此外，利用ms-swift支持的多LoRA切换机制，还可以为不同公司定制专属适配器。比如给科技公司启用“高研发投入”权重，给消费企业激活“毛利率敏感度”模块，实现“一套基座，多地开花”。

部署环节同样不容忽视。生产环境往往要求高并发、低延迟。此时采用 GPTQ/AWQ 量化后的模型配合 vLLM 推理引擎，可在H100上实现每秒数十个请求的吞吐量。开启Paged Attention和Tensor Parallelism后，长上下文处理能力也大幅提升，轻松应对两小时以上的完整会议记录。

当然，技术再先进也不能忽略合规边界。所有训练数据必须脱敏，禁止保留原始高管语音或未公开财务预测。输出端建议添加免责声明：“本摘要由AI生成，仅供参考，请以官方公告为准。” 这不仅是法律要求，更是建立用户信任的基础。

回过头看，ms-swift之所以能在这一场景脱颖而出，正是因为它打通了从数据准备、模型微调、行为对齐到高效部署的完整闭环。相比传统方案（如Hugging Face + PEFT + 自建推理服务）需要拼接多个工具、维护复杂依赖，ms-swift 提供了一体化的解决方案：

更重要的是，它的设计理念始终围绕“可用性”展开——不是追求最前沿的算法堆砌，而是确保每一项技术都能在真实业务中跑得通、稳得住、改得快。

可以预见，随着更多垂直领域数据的积累，这类系统将不再局限于财报会议。 earnings call 只是一个起点，接下来可能是董事会纪要、尽调访谈、分析师路演……每一个需要“听懂话、写出文”的知识密集型场景，都是大模型施展拳脚的空间。

而像 ms-swift 这样的工程框架，正在默默扮演着“桥梁”的角色——把实验室里的强大模型，变成会议室里真正可用的智能助手。也许不久之后，每位财务总监的邮箱里，都不再是等待数日的手工报告，而是一封刚刚会结束就自动送达的AI纪要，开头写着：“您本次会议的核心要点如下……”