GTE中文语义相似度服务代码实例：快速搭建相似度计算平台

GTE中文语义相似度服务代码实例：快速搭建相似度计算平台

1. 项目背景与技术价值

在自然语言处理领域，语义相似度计算是许多下游任务的核心基础，如问答系统、文本去重、推荐排序和意图识别等。传统的基于关键词匹配或编辑距离的方法难以捕捉深层语义关系，而预训练语言模型的出现为这一问题提供了更优解。

GTE（General Text Embedding）是由达摩院推出的一系列高质量文本向量模型，在C-MTEB（Chinese Massive Text Embedding Benchmark）榜单中表现优异，尤其适用于中文场景下的语义理解任务。本项目基于GTE-Base-zh模型，构建了一个轻量级、可部署、支持Web交互与API调用的语义相似度服务平台，专为CPU环境优化，适合资源受限但需快速验证想法的开发场景。

该平台不仅提供高精度的向量化能力，还集成了Flask驱动的可视化WebUI，用户可通过浏览器直观查看两段文本之间的语义相似程度，并获得动态仪表盘反馈结果。同时开放RESTful API接口，便于集成到现有系统中。

2. 核心架构设计与实现逻辑

2.1 系统整体架构

整个服务采用前后端分离的轻量架构：

• 后端引擎：使用 Hugging Face Transformers + ModelScope 加载 GTE-Base 模型进行文本编码
• 相似度计算：通过余弦相似度公式对两个句向量进行比对
• 服务框架：基于 Flask 实现 Web 路由控制与 API 接口暴露
• 前端界面：HTML + JavaScript 构建响应式页面，集成 Canvas 动态仪表盘组件

所有模块打包于单个 Python 应用中，无需额外依赖数据库或其他中间件，极大简化部署流程。

2.2 文本向量化原理

GTE 模型本质上是一个双塔结构的 Sentence-BERT 类模型，输入句子经过 Tokenization 后送入 Transformer 编码器，最终取[CLS]或平均池化后的输出作为句向量表示。

from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 初始化文本嵌入管道 embedding_pipeline = pipeline(task=Tasks.text_embedding, model='GanymedeNil/text2vec-base-chinese')

上述代码初始化了 ModelScope 提供的text2vec-base-chinese模型（即 GTE-Base 的开源版本），其输出为768维的稠密向量。

2.3 余弦相似度计算机制

得到两个句子的向量表示后，使用标准余弦相似度公式衡量其夹角：

$$ \text{similarity} = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|} $$

该值范围在 [-1, 1] 之间，通常归一化至 [0, 1] 区间用于解释性展示。

import numpy as np from sklearn.metrics.pairwise import cosine_similarity def calculate_similarity(sent_a: str, sent_b: str) -> float: # 获取句向量 vec_a = embedding_pipeline(sent_a)[0]['vector'] vec_b = embedding_pipeline(sent_b)[0]['vector'] # reshape 以适配 sklearn 输入格式 vec_a = np.array(vec_a).reshape(1, -1) vec_b = np.array(vec_b).reshape(1, -1) # 计算余弦相似度 sim_score = cosine_similarity(vec_a, vec_b)[0][0] # 映射到 0~1 范围（若原始输出包含负值） normalized_score = (sim_score + 1) / 2 # 若原输出为 [-1,1] return round(normalized_score * 100, 1) # 返回百分比形式，保留一位小数

📌 注意事项：

• GTE 模型默认返回的是未归一化的向量，因此需手动执行 L2 归一化或直接使用cosine_similarity函数内部处理。
• 对于长文本，建议截断至512 token以内，避免OOM及语义稀释。

3. WebUI 可视化实现详解

3.1 前端页面结构

前端采用简洁的 Bootstrap 风格布局，核心元素包括：

• 两个<textarea>分别输入“句子A”和“句子B”
• 一个“计算”按钮触发 AJAX 请求
• 一个 Canvas 绘制的圆形仪表盘，动态显示相似度百分比
• 结果判定标签（如“高度相似”、“中等相似”）

<!-- templates/index.html --> <form id="similarityForm"> <div class="form-group"> <label for="sentenceA">句子 A</label> <textarea class="form-control" id="sentenceA" rows="3" placeholder="请输入第一句话..."></textarea> </div> <div class="form-group mt-3"> <label for="sentenceB">句子 B</label> <textarea class="form-control" id="sentenceB" rows="3" placeholder="请输入第二句话..."></textarea> </div> <button type="submit" class="btn btn-primary mt-4">计算相似度</button> </form> <div class="result-section mt-5"> <canvas id="gauge" width="300" height="150"></canvas> <p id="resultText" class="text-center mt-3"></p> </div>

3.2 动态仪表盘绘制

使用原生 JavaScript 和 Canvas API 实现类速度表风格的视觉效果：

function drawGauge(percentage) { const canvas = document.getElementById('gauge'); const ctx = canvas.getContext('2d'); const centerX = canvas.width / 2; const centerY = canvas.height; const radius = 100; // 清空画布 ctx.clearRect(0, 0, canvas.width, canvas.height); // 绘制背景弧线（灰色） ctx.beginPath(); ctx.arc(centerX, centerY, radius, Math.PI, 0, false); ctx.lineWidth = 20; ctx.strokeStyle = '#e0e0e0'; ctx.stroke(); // 绘制进度弧线（绿色） const angle = Math.PI * (percentage / 100); ctx.beginPath(); ctx.arc(centerX, centerY, radius, Math.PI, Math.PI - angle, true); ctx.lineWidth = 20; ctx.strokeStyle = '#4CAF50'; ctx.stroke(); // 显示文字 ctx.font = 'bold 24px Arial'; ctx.fillStyle = '#333'; ctx.textAlign = 'center'; ctx.fillText(`${percentage}%`, centerX, centerY + 10); }

当用户点击“计算”按钮时，通过 fetch 发起 POST 请求获取结果并更新仪表盘：

document.getElementById('similarityForm').addEventListener('submit', async function(e) { e.preventDefault(); const sentA = document.getElementById('sentenceA').value; const sentB = document.getElementById('sentenceB').value; const response = await fetch('/api/similarity', { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify({ sentence_a: sentA, sentence_b: sentB }) }); const data = await response.json(); const score = data.similarity_score; drawGauge(score); document.getElementById('resultText').textContent = getVerdict(score); }); function getVerdict(score) { if (score > 80) return "语义高度相似"; else if (score > 60) return "语义较为相似"; else if (score > 40) return "有一定相关性"; else return "语义差异较大"; }

4. RESTful API 接口设计与调用方式

4.1 API 路由定义

from flask import Flask, request, jsonify, render_template app = Flask(__name__) @app.route('/') def index(): return render_template('index.html') @app.route('/api/similarity', methods=['POST']) def api_similarity(): data = request.get_json() sent_a = data.get('sentence_a', '').strip() sent_b = data.get('sentence_b', '').strip() if not sent_a or not sent_b: return jsonify({'error': '缺少必要参数: sentence_a 或 sentence_b'}), 400 try: score = calculate_similarity(sent_a, sent_b) verdict = classify_similarity(score) return jsonify({ 'sentence_a': sent_a, 'sentence_b': sent_b, 'similarity_score': score, 'verdict': verdict }) except Exception as e: return jsonify({'error': f'处理失败: {str(e)}'}), 500 def classify_similarity(score): if score > 80: return "高度相似" elif score > 60: return "较为相似" elif score > 40: return "部分相关" else: return "不相似"

4.2 外部调用示例（Python）

import requests url = "http://localhost:5000/api/similarity" data = { "sentence_a": "我喜欢看电影", "sentence_b": "我热爱观影活动" } response = requests.post(url, json=data) print(response.json()) # 输出示例： # { # "sentence_a": "我喜欢看电影", # "sentence_b": "我热爱观影活动", # "similarity_score": 87.3, # "verdict": "高度相似" # }

此接口可用于自动化测试、批处理任务或与其他微服务集成。

5. 性能优化与稳定性保障

5.1 CPU推理加速策略

尽管 GTE-Base 是基于 BERT 的模型，但在纯 CPU 上仍可通过以下手段提升性能：

• 模型缓存：首次加载后将模型驻留内存，避免重复初始化
• FP32 → FP16 降级（若支持）：减少计算量与显存占用（本镜像为CPU版，暂不启用）
• 批处理预热：启动时执行一次 dummy 推理，完成 JIT 编译预热
• 禁用梯度计算：确保torch.no_grad()模式开启

import torch torch.set_num_threads(4) # 控制线程数防止过载

5.2 版本锁定与兼容性修复

由于 Transformers 库频繁更新可能导致接口变动，本项目明确锁定版本：

transformers==4.35.2 modelscope==1.11.0 torch==1.13.1+cpu flask==2.3.3 scikit-learn==1.3.0

并针对早期版本中存在的输入格式错误（如传入字典结构异常）进行了封装层兼容处理，确保长期运行稳定无报错。

6. 总结

6.1 技术价值回顾

本文介绍了一个基于 GTE 中文向量模型的语义相似度服务平台，具备以下核心优势：

• ✅高精度语义建模：依托达摩院 GTE 模型，在中文语义匹配任务中表现领先
• ✅开箱即用的可视化工具：内置 WebUI 仪表盘，降低非技术人员使用门槛
• ✅双模式访问支持：既可通过浏览器操作，也可通过 API 集成进生产系统
• ✅轻量高效适配 CPU：无需 GPU 即可流畅运行，适合边缘设备或本地开发测试
• ✅工程稳定性强：固定依赖版本，修复常见运行时 Bug，保障零报错体验

6.2 实践建议与扩展方向

对于希望进一步拓展功能的开发者，建议考虑以下方向：

1. 批量相似度计算：扩展接口支持多句对比矩阵生成
2. 阈值预警机制：设定相似度阈值，自动标记高风险内容（如抄袭检测）
3. 持久化日志记录：将历史查询结果写入文件或数据库用于分析
4. 模型微调支持：加入 LoRA 微调模块，适应垂直领域术语表达
5. Docker 容器化部署：打包为标准镜像，便于跨平台迁移与CI/CD集成

该项目已成功应用于智能客服意图匹配、新闻标题去重等多个实际场景，展现出良好的泛化能力和实用性。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。