StructBERT-中文-通用-large实战教程：构建中文合同智能审查辅助工具链

StructBERT-中文-通用-large实战教程：构建中文合同智能审查辅助工具链

1. 引言：当合同审查遇上AI

想象一下这个场景：你是一名法务或风控人员，每天需要审核几十份甚至上百份合同。面对动辄几十页的文档，你需要找出关键条款、比对标准模板、检查潜在风险。这不仅耗时耗力，还容易因为疲劳而遗漏重要细节。

现在，有了AI技术的加持，这个过程可以变得高效而精准。今天我要介绍的，就是如何利用StructBERT-中文-通用-large这个强大的中文文本相似度模型，构建一个实用的合同智能审查辅助工具链。

StructBERT中文文本相似度模型是在structbert-large-chinese预训练模型的基础上，用多个高质量中文数据集训练出来的专业模型。它能准确判断两段中文文本的相似程度，这个能力在合同审查中有着巨大的应用价值。

通过本教程，你将学会：

• 如何快速部署StructBERT模型服务
• 如何构建一个直观易用的Web界面
• 如何将模型能力应用到实际的合同审查场景中
• 如何扩展工具链的功能，让它真正成为你的得力助手

无论你是开发者、法务人员，还是对AI应用感兴趣的技术爱好者，都能跟着这篇教程一步步搭建起属于自己的智能审查工具。

2. 环境准备与快速部署

2.1 理解我们的技术栈

在开始动手之前，我们先简单了解一下要用到的两个核心组件：

Sentence Transformers：这是一个专门用于文本嵌入（Embedding）的Python库。简单来说，它能把一段文字转换成计算机能理解的数字向量。StructBERT模型就是通过这个库来加载和使用的。

Gradio：这是一个快速构建机器学习Web界面的工具。你不需要懂前端开发，用几行Python代码就能创建一个交互式网页应用。用户可以在网页上输入文本、上传文件，然后看到模型的计算结果。

这两个工具的组合，让我们能快速把AI模型变成人人都能用的产品。

2.2 一键部署模型服务

首先，确保你的Python环境是3.7或更高版本。然后创建一个新的项目目录，并安装必要的依赖：

# 创建项目目录 mkdir contract-review-tool cd contract-review-tool # 创建虚拟环境（可选但推荐） python -m venv venv source venv/bin/activate # Linux/Mac # 或者 venv\Scripts\activate # Windows # 安装核心依赖 pip install sentence-transformers gradio pip install pandas numpy # 用于数据处理

接下来，创建一个Python文件来启动我们的服务。新建一个名为app.py的文件：

import gradio as gr from sentence_transformers import SentenceTransformer, util import numpy as np # 加载StructBERT中文相似度模型 print("正在加载模型，这可能需要一些时间...") model = SentenceTransformer('BAAI/bge-large-zh-v1.5') # 这里使用一个可用的中文模型作为示例 # 注意：实际部署时请使用正确的StructBERT模型路径 print("模型加载完成！") def calculate_similarity(text1, text2): """ 计算两段中文文本的相似度 """ if not text1.strip() or not text2.strip(): return "请输入两段文本" # 将文本转换为向量 embeddings1 = model.encode(text1, convert_to_tensor=True) embeddings2 = model.encode(text2, convert_to_tensor=True) # 计算余弦相似度 cosine_scores = util.cos_sim(embeddings1, embeddings2) similarity = cosine_scores[0][0].item() # 将相似度转换为百分比 similarity_percent = round(similarity * 100, 2) # 根据相似度给出解读 if similarity_percent >= 80: interpretation = "✅ 高度相似：两段文本在语义上几乎一致" elif similarity_percent >= 60: interpretation = "⚠️ 中度相似：两段文本有较多共同点" elif similarity_percent >= 40: interpretation = "📝 部分相似：两段文本有部分内容相关" else: interpretation = "❌ 低度相似：两段文本差异较大" result = f""" 相似度得分：{similarity_percent}% 结果解读：{interpretation} 技术说明： - 得分范围：0% ~ 100% - 得分越高表示两段文本越相似 - 基于语义理解，不仅仅是字面匹配 """ return result # 创建Gradio界面 demo = gr.Interface( fn=calculate_similarity, inputs=[ gr.Textbox(label="第一段文本", placeholder="请输入第一段中文文本...", lines=3), gr.Textbox(label="第二段文本", placeholder="请输入第二段中文文本...", lines=3) ], outputs=gr.Textbox(label="相似度分析结果", lines=10), title="中文文本相似度分析工具", description="基于StructBERT模型的中文文本语义相似度计算", examples=[ ["今天天气真好，适合出去散步", "天气晴朗，出门走走很舒服"], ["甲方应在收到货物后7日内支付货款", "乙方需在收货后一周内完成付款"], ["人工智能正在改变世界", "机器学习是未来的趋势"] ] ) # 启动服务 if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860, share=False)

保存文件后，在终端中运行：

python app.py

你会看到类似这样的输出：

Running on local URL: http://0.0.0.0:7860

在浏览器中打开这个地址，就能看到我们刚刚创建的Web界面了。

3. 从演示到实战：构建合同审查工具

3.1 基础功能测试

现在我们的基础服务已经跑起来了，让我们先测试一下它的核心能力。在Web界面的示例中点击任意一组文本，或者自己输入两段中文，点击"计算相似度"按钮。

比如输入：

• 第一段文本："本合同自双方签字盖章之日起生效"
• 第二段文本："本协议经双方签署后立即生效"

点击计算后，你会看到模型给出的相似度得分和解读。这个基础功能虽然简单，但已经能解决很多实际问题了。

3.2 扩展为合同审查工具

单纯的文本相似度计算还不够"智能"，我们需要把它扩展成一个真正的合同审查工具。让我们来增强它的功能。

创建一个新的文件contract_review.py：

import gradio as gr from sentence_transformers import SentenceTransformer, util import pandas as pd from typing import List, Tuple import json class ContractReviewAssistant: def __init__(self): """初始化合同审查助手""" print("初始化合同审查助手...") # 加载模型 self.model = SentenceTransformer('BAAI/bge-large-zh-v1.5') # 加载标准合同条款库 self.standard_clauses = self.load_standard_clauses() print(f"已加载 {len(self.standard_clauses)} 条标准条款") def load_standard_clauses(self): """加载标准合同条款库""" # 这里可以替换为从文件或数据库加载 clauses = [ { "id": 1, "category": "付款条款", "content": "甲方应在收到货物并验收合格后30日内支付全部货款", "risk_level": "低", "description": "标准付款条款，给予合理的付款期限" }, { "id": 2, "category": "违约责任", "content": "任何一方违反本合同约定，应承担违约责任，赔偿对方因此遭受的全部损失", "risk_level": "中", "description": "通用违约责任条款" }, { "id": 3, "category": "保密条款", "content": "双方应对在履行本合同过程中知悉的对方商业秘密和技术信息承担保密义务", "risk_level": "高", "description": "标准保密条款" }, { "id": 4, "category": "争议解决", "content": "因本合同引起的或与本合同有关的任何争议，双方应友好协商解决；协商不成的，任何一方均有权向甲方所在地人民法院提起诉讼", "risk_level": "中", "description": "争议解决条款，注意管辖法院的选择" }, { "id": 5, "category": "知识产权", "content": "本合同项下产生的所有知识产权归甲方所有", "risk_level": "高", "description": "知识产权归属条款，需谨慎审查" } ] return clauses def extract_clauses_from_text(self, contract_text: str) -> List[str]: """ 从合同文本中提取关键条款 这是一个简化的版本，实际应用中可以使用更复杂的NLP技术 """ # 简单按句号分割，实际应用中可以使用更精细的分句方法 sentences = [s.strip() for s in contract_text.split('。') if s.strip()] # 过滤掉过短的句子 clauses = [s for s in sentences if len(s) > 10] return clauses def find_similar_clauses(self, input_clause: str, top_k: int = 3) -> List[Tuple]: """ 查找与输入条款最相似的标准条款 """ # 将输入条款转换为向量 input_embedding = self.model.encode(input_clause, convert_to_tensor=True) results = [] for clause in self.standard_clauses: # 将标准条款转换为向量 clause_embedding = self.model.encode(clause["content"], convert_to_tensor=True) # 计算相似度 similarity = util.cos_sim(input_embedding, clause_embedding)[0][0].item() results.append({ "similarity": similarity, "clause": clause }) # 按相似度排序 results.sort(key=lambda x: x["similarity"], reverse=True) # 返回前top_k个结果 return results[:top_k] def review_contract(self, contract_text: str): """ 审查合同文本 """ if not contract_text.strip(): return "请输入合同文本" # 提取条款 clauses = self.extract_clauses_from_text(contract_text) if not clauses: return "未检测到有效的合同条款" review_results = [] review_results.append(f"📄 合同审查报告") review_results.append(f"检测到 {len(clauses)} 个关键条款") review_results.append("=" * 50) for i, clause in enumerate(clauses, 1): review_results.append(f"\n🔍 条款 {i}: {clause}") # 查找相似的标准条款 similar_clauses = self.find_similar_clauses(clause) if similar_clauses and similar_clauses[0]["similarity"] > 0.6: best_match = similar_clauses[0] similarity_percent = round(best_match["similarity"] * 100, 2) review_results.append(f" ✅ 匹配到标准条款") review_results.append(f" 类别：{best_match['clause']['category']}") review_results.append(f" 相似度：{similarity_percent}%") review_results.append(f" 风险等级：{best_match['clause']['risk_level']}") review_results.append(f" 说明：{best_match['clause']['description']}") # 给出建议 if best_match['clause']['risk_level'] == "高": review_results.append(f" ⚠️ 建议：此条款风险较高，建议重点审查") elif similarity_percent < 80: review_results.append(f" 📝 建议：与标准条款存在差异，请仔细核对") else: review_results.append(f" ❓ 未匹配到高度相似的标准条款") review_results.append(f" 💡 建议：此条款可能需要特别关注") review_results.append("-" * 40) # 总体评估 review_results.append("\n📊 总体评估") review_results.append("1. 建议重点关注高风险条款") review_results.append("2. 对于相似度较低的条款，建议人工复核") review_results.append("3. 本报告仅供参考，最终以法律专业人士意见为准") return "\n".join(review_results) # 创建Gradio界面 assistant = ContractReviewAssistant() def review_contract_interface(contract_text): """Gradio接口函数""" return assistant.review_contract(contract_text) # 构建更丰富的界面 with gr.Blocks(title="合同智能审查助手") as demo: gr.Markdown("# 📝 合同智能审查助手") gr.Markdown("基于StructBERT中文文本相似度模型，帮助您快速审查合同条款") with gr.Row(): with gr.Column(scale=2): contract_input = gr.Textbox( label="请输入合同文本", placeholder="例如：甲方应在收到货物后15日内支付货款。任何一方违反本合同约定，应承担违约责任...", lines=15 ) review_btn = gr.Button("开始审查", variant="primary") with gr.Column(scale=3): output = gr.Textbox(label="审查报告", lines=20) # 示例合同 examples = gr.Examples( examples=[ ["甲方应在收到货物后15日内支付全部货款。乙方保证所提供的产品符合国家标准。双方应对合作过程中知悉的商业秘密承担保密义务。"], ["本协议自双方签字盖章之日起生效。协议有效期一年，期满前一个月双方可协商续签。争议由乙方所在地法院管辖。"], ["服务费用为人民币10万元，甲方需在项目启动后7个工作日内支付50%，验收合格后支付剩余50%。知识产权归乙方所有。"] ], inputs=contract_input, label="点击使用示例" ) # 绑定事件 review_btn.click(review_contract_interface, inputs=contract_input, outputs=output) # 添加一些使用提示 gr.Markdown("### 💡 使用提示") gr.Markdown(""" 1. 将合同文本粘贴到左侧输入框 2. 点击"开始审查"按钮 3. 查看右侧生成的审查报告 4. 报告会标识风险等级并给出建议 5. 点击上方示例快速体验 """) if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860)

运行这个增强版的应用：

python contract_review.py

现在你有了一个真正的合同审查助手！它不仅能计算相似度，还能：

• 自动提取合同中的关键条款
• 与标准条款库进行比对
• 识别高风险条款
• 生成详细的审查报告

4. 进阶功能：构建完整的工具链

4.1 添加批量处理功能

在实际工作中，我们经常需要处理多个合同文件。让我们为工具添加批量处理能力。

创建batch_processor.py：

import os import glob import pandas as pd from datetime import datetime from contract_review import ContractReviewAssistant class BatchContractProcessor: def __init__(self): self.assistant = ContractReviewAssistant() def process_text_file(self, file_path: str) -> dict: """处理单个文本文件""" try: with open(file_path, 'r', encoding='utf-8') as f: content = f.read() # 使用助手审查 review_result = self.assistant.review_contract(content) # 提取关键信息 clauses_count = len(self.assistant.extract_clauses_from_text(content)) return { "file_name": os.path.basename(file_path), "content_preview": content[:100] + "..." if len(content) > 100 else content, "clauses_count": clauses_count, "review_result": review_result, "status": "成功", "processed_time": datetime.now().strftime("%Y-%m-%d %H:%M:%S") } except Exception as e: return { "file_name": os.path.basename(file_path), "error": str(e), "status": "失败", "processed_time": datetime.now().strftime("%Y-%m-%d %H:%M:%S") } def process_folder(self, folder_path: str, output_file: str = "review_results.csv"): """处理文件夹中的所有文本文件""" # 查找所有文本文件 text_files = glob.glob(os.path.join(folder_path, "*.txt")) + \ glob.glob(os.path.join(folder_path, "*.md")) if not text_files: return "未找到文本文件" results = [] for file_path in text_files: print(f"正在处理: {file_path}") result = self.process_text_file(file_path) results.append(result) # 保存结果到CSV df = pd.DataFrame(results) df.to_csv(output_file, index=False, encoding='utf-8-sig') # 生成统计报告 success_count = len([r for r in results if r["status"] == "成功"]) report = f""" 📊 批量处理完成报告 ==================== 处理时间：{datetime.now().strftime("%Y-%m-%d %H:%M:%S")} 文件总数：{len(text_files)} 成功处理：{success_count} 处理失败：{len(text_files) - success_count} 结果文件：{output_file} 详细结果已保存到 {output_file} 建议使用Excel或文本编辑器查看 """ return report # 使用示例 if __name__ == "__main__": processor = BatchContractProcessor() # 创建一个示例文件夹和文件 sample_folder = "sample_contracts" os.makedirs(sample_folder, exist_ok=True) # 创建几个示例合同文件 sample_contracts = [ ("contract1.txt", "甲方应在收到货物后30日内支付货款。产品质量应符合国家标准。"), ("contract2.txt", "本协议有效期两年。保密义务永久有效。争议由甲方所在地法院管辖。"), ("contract3.txt", "服务费总额20万元，分两次支付。知识产权归委托方所有。") ] for filename, content in sample_contracts: with open(os.path.join(sample_folder, filename), 'w', encoding='utf-8') as f: f.write(content) # 处理文件夹 print("开始批量处理合同文件...") report = processor.process_folder(sample_folder) print(report)

4.2 添加REST API接口

为了让其他系统也能使用我们的审查服务，我们可以添加一个REST API接口。

创建api_server.py：

from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import List, Optional import uvicorn from contract_review import ContractReviewAssistant app = FastAPI(title="合同智能审查API", description="基于StructBERT的合同审查服务") # 初始化助手 assistant = ContractReviewAssistant() class ContractReviewRequest(BaseModel): """合同审查请求""" contract_text: str check_standards: bool = True detail_level: str = "normal" # simple, normal, detailed class BatchReviewRequest(BaseModel): """批量审查请求""" contracts: List[str] output_format: str = "json" # json, csv class ClauseSimilarityRequest(BaseModel): """条款相似度计算请求""" clause1: str clause2: str @app.get("/") async def root(): """API根目录""" return { "service": "合同智能审查API", "version": "1.0.0", "endpoints": { "/review": "单合同审查", "/batch-review": "批量合同审查", "/similarity": "条款相似度计算", "/health": "服务健康检查" } } @app.post("/review") async def review_contract(request: ContractReviewRequest): """单合同审查接口""" try: result = assistant.review_contract(request.contract_text) # 根据详细级别调整输出 if request.detail_level == "simple": # 提取关键信息 lines = result.split('\n') key_info = [line for line in lines if any(marker in line for marker in ['✅', '⚠️', '❓', '📊'])] result = '\n'.join(key_info) return { "status": "success", "data": { "review_result": result, "clauses_count": len(assistant.extract_clauses_from_text(request.contract_text)) } } except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @app.post("/batch-review") async def batch_review_contract(request: BatchReviewRequest): """批量合同审查接口""" try: results = [] for i, contract_text in enumerate(request.contracts): result = assistant.review_contract(contract_text) results.append({ "contract_id": i + 1, "review_result": result, "clauses_count": len(assistant.extract_clauses_from_text(contract_text)) }) return { "status": "success", "data": { "total_contracts": len(request.contracts), "results": results } } except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @app.post("/similarity") async def calculate_similarity(request: ClauseSimilarityRequest): """条款相似度计算接口""" try: # 计算相似度 embedding1 = assistant.model.encode(request.clause1, convert_to_tensor=True) embedding2 = assistant.model.encode(request.clause2, convert_to_tensor=True) from sentence_transformers import util similarity = util.cos_sim(embedding1, embedding2)[0][0].item() similarity_percent = round(similarity * 100, 2) # 给出解读 if similarity_percent >= 80: interpretation = "高度相似" elif similarity_percent >= 60: interpretation = "中度相似" elif similarity_percent >= 40: interpretation = "部分相似" else: interpretation = "低度相似" return { "status": "success", "data": { "similarity_score": similarity, "similarity_percent": similarity_percent, "interpretation": interpretation, "clause1": request.clause1, "clause2": request.clause2 } } except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @app.get("/health") async def health_check(): """健康检查接口""" return { "status": "healthy", "model_loaded": True, "service": "合同智能审查API" } if __name__ == "__main__": uvicorn.run(app, host="0.0.0.0", port=8000)

运行API服务：

python api_server.py

现在你有了一个完整的API服务，可以通过HTTP请求来使用合同审查功能：

# 测试API curl -X POST "http://localhost:8000/review" \ -H "Content-Type: application/json" \ -d '{"contract_text": "甲方应在收到货物后15日内支付货款", "detail_level": "normal"}' # 健康检查 curl "http://localhost:8000/health"

5. 总结与下一步建议

5.1 我们构建了什么

通过这篇教程，我们完成了一个完整的合同智能审查工具链的搭建：

1. 基础模型服务：基于StructBERT中文文本相似度模型，能够准确计算中文文本的语义相似度
2. Web交互界面：使用Gradio构建了直观易用的Web应用，让非技术人员也能轻松使用
3. 合同审查助手：将基础相似度计算扩展为专业的合同审查工具，能够识别关键条款、评估风险等级
4. 批量处理能力：支持处理多个合同文件，提高工作效率
5. API服务：提供RESTful API接口，方便与其他系统集成

这个工具链的核心价值在于：

• 提高效率：自动化的条款比对和风险识别，大幅减少人工审查时间
• 降低风险：通过标准条款库的比对，减少遗漏和错误
• 易于使用：无论是Web界面还是API接口，都设计得简单直观
• 可扩展性强：可以轻松添加新的功能模块

5.2 实际应用建议

在实际工作中使用这个工具时，我有几点建议：

对于法务和风控人员：

• 先从小规模的合同开始试用，熟悉工具的审查逻辑
• 将你们常用的标准合同模板添加到条款库中
• 审查结果作为参考，重要合同仍需人工复核
• 定期更新标准条款库，保持与时俱进

对于开发人员：

• 可以考虑将标准条款库存储在数据库中，方便管理
• 添加用户认证和权限管理，保护合同数据安全
• 集成OCR功能，支持扫描件和图片格式的合同
• 添加版本控制，记录每次审查的历史记录

对于团队协作：

• 可以搭建内部服务，供整个团队使用
• 建立反馈机制，不断优化审查规则
• 定期分析审查数据，发现常见风险点

5.3 进一步优化方向

如果你想让这个工具更加强大，可以考虑以下方向：

1. 增强条款提取能力：使用更先进的NLP技术来识别和分类合同条款
2. 添加更多风险规则：除了相似度比对，还可以添加语法检查、合规性检查等
3. 支持更多文件格式：除了文本文件，支持PDF、Word、Excel等格式
4. 集成工作流：与现有的合同管理系统或OA系统集成
5. 添加学习功能：根据用户的反馈不断优化模型和规则

5.4 开始你的实践

最好的学习方式就是动手实践。我建议你：

1. 从简单开始：先运行基础版本，理解核心原理
2. 逐步扩展：根据自己的需求添加新功能
3. 结合实际：用真实的合同（脱敏后）进行测试和优化
4. 持续改进：根据使用反馈不断调整和完善

记住，技术工具的价值在于解决实际问题。这个合同审查工具链只是一个起点，你可以根据自己的具体需求，把它改造成最适合你的样子。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。