GTE中文嵌入模型入门教程：向量余弦相似度计算公式与代码实现

GTE中文嵌入模型入门教程：向量余弦相似度计算公式与代码实现

1. 什么是GTE中文文本嵌入模型

GTE中文文本嵌入模型，全称是General Text Embedding中文大模型，是专为中文语义理解优化的高质量文本向量生成工具。它能把一句话、一段话甚至一篇短文，转换成一串固定长度的数字——也就是我们常说的“向量”。这串数字不是随便排列的，而是精准地编码了原文的语义信息：意思相近的句子，它们的向量在空间里就靠得近；意思相差很远的，向量距离就远。

你可以把它想象成给每段文字发一张“语义身份证”。这张身份证不记录字面内容，而是刻画它的含义、情感倾向、主题领域等深层特征。正因为如此，GTE中文模型特别适合用在搜索、推荐、聚类、去重、智能客服问答匹配等需要理解“意思是否一致”的场景中。

它不是简单的词频统计或关键词匹配，而是基于深度神经网络，通过海量中文文本预训练获得的语义感知能力。相比传统方法（比如TF-IDF），它能识别“苹果手机”和“iPhone”语义相同，也能区分“苹果”水果和“苹果”公司——这种对上下文和多义性的把握，正是它强大的地方。

2. 为什么文本表示这么重要

文本表示，说白了就是“怎么让计算机真正看懂一句话”。在自然语言处理的世界里，机器不认识汉字，也不理解语法，它只认识数字。所以，把文字变成数字向量，是所有高级应用的第一步，也是最关键的一步。

过去，我们用过很多办法：数词频、建词典、跑LDA主题模型……但这些方法有个共同短板——它们只看表面，不看意思。比如，“我饿了”和“肚子咕咕叫”，字面上几乎没重合，传统方法会认为它们毫不相关；而GTE这类现代嵌入模型，却能准确捕捉到二者都指向“饥饿”这个核心语义，从而给出高相似度。

这几年，预训练语言模型彻底改变了游戏规则。它们像一个读过上亿页中文资料的“语言老手”，在大量无标注文本中自学语言规律。GTE中文Large正是这样一位“老手”的精简实用版：它体积适中（622MB）、推理快、开箱即用，而且专为中文优化，在各类中文语义任务上表现稳定可靠。它不追求参数最大，而是专注把“中文意思”这件事做得扎实、好用、落地。

3. 快速部署与本地运行

GTE中文模型已经为你准备好了一键可运行的服务环境，无需从头配置复杂依赖，几分钟就能跑起来。

3.1 启动服务只需两步

首先，进入模型目录：

cd /root/nlp_gte_sentence-embedding_chinese-large

然后，直接运行Web服务：

python /root/nlp_gte_sentence-embedding_chinese-large/app.py

服务启动后，打开浏览器访问http://0.0.0.0:7860，你就能看到一个简洁的交互界面。整个过程不需要修改任何代码，也不用下载额外模型文件——所有资源都已预置在/root/ai-models/iic/nlp_gte_sentence-embedding_chinese-large路径下。

3.2 环境依赖一键安装

如果这是你第一次运行，或者需要更新依赖，执行这一行命令即可：

pip install -r requirements.txt

它会自动安装PyTorch、transformers、gradio等核心库。模型支持GPU加速，也兼容CPU运行（速度稍慢，但完全可用），对硬件没有苛刻要求。

3.3 项目结构清晰易懂

整个项目组织非常直观，方便你后续定制或调试：

/root/nlp_gte_sentence-embedding_chinese-large/ ├── app.py # 主程序：启动Gradio Web界面 ├── requirements.txt # 所有Python依赖包清单 ├── configuration.json # 模型加载参数（如最大长度512、向量维度1024） └── USAGE.md # 当前这份使用说明

你不需要深入每个文件，但知道它们各司其职，会让你用得更安心。

4. 核心功能实操指南

GTE中文服务提供了两个最常用、最实用的功能：计算文本相似度和获取文本向量。下面带你一步步操作，边做边理解。

4.1 文本相似度计算：三步看出“像不像”

这是最常被问到的问题：“这两句话意思一样吗？”、“用户问题和知识库答案匹配吗？”。GTE能给你一个0到1之间的分数，越接近1，语义越相似。

操作流程如下：

1. 在页面第一个输入框中，填入你的“源句子”，比如：今天天气真不错
2. 在第二个输入框中，填入待比较的句子，每行一句，例如：

   外面阳光明媚，心情很好 明天要下雨了 今天的气温很舒适

3. 点击“计算相似度”按钮，右侧立刻显示三组分数，比如：0.82、0.21、0.76

结果解读很简单：

• 0.82表示“今天天气真不错”和“外面阳光明媚，心情很好”语义高度一致（都表达积极情绪+好天气）
• 0.21表示和“明天要下雨了”几乎无关（时间、状态、情绪全不同）
• 0.76表示和“今天的气温很舒适”有一定关联（同属“今天+舒适体验”范畴，但侧重点不同）

这个能力，正是智能客服自动匹配FAQ、新闻聚合去重、论文查重初筛背后的核心逻辑。

4.2 获取文本向量：拿到1024维“语义指纹”

有时候，你不需要直接看相似度，而是想把文本变成向量，再做自己的处理——比如存进向量数据库、做聚类分析、输入到另一个模型中。

操作也很直接：

1. 在“获取向量”标签页，输入任意中文文本，比如：人工智能正在改变我们的生活
2. 点击“获取向量”按钮
3. 页面返回一个包含1024个浮点数的列表，形如[0.12, -0.45, 0.88, ..., 0.03]

这就是这句话的“语义指纹”。它是一个1024维空间中的坐标点。虽然你看不出每个数字代表什么，但整个向量作为一个整体，唯一且稳定地表征了这句话的语义。你可以把它保存下来，用NumPy数组处理，或者插入到Milvus、Chroma等向量数据库中，为后续检索打下基础。

5. 余弦相似度：从公式到代码的完整实现

很多人知道“相似度高=向量靠近”，但具体怎么算？为什么用余弦而不是欧氏距离？这里我们不讲抽象理论，只用最直白的方式，把公式、原理、代码全串起来。

5.1 一句话讲清余弦相似度

余弦相似度，本质是在算两个向量“方向有多一致”。它忽略向量长度（即文本长短），只关注它们在空间中“指向的角度”。

• 角度为0°（完全同向）→ 相似度 = 1.0
• 角度为90°（完全垂直）→ 相似度 = 0.0
• 角度为180°（完全反向）→ 相似度 = -1.0

对文本来说，我们几乎不会得到负值，因为GTE输出的向量经过归一化处理，所有向量都落在单位球面上，所以结果总在0~1之间。

5.2 公式拆解：不用记，只要懂

余弦相似度的数学公式是：

$$ \text{similarity} = \frac{A \cdot B}{|A| \times |B|} $$

其中：

• $A \cdot B$ 是两个向量的点积（对应位置相乘再求和）
• $|A|$ 和 $|B|$ 分别是向量A和B的模长（即向量长度）

举个极简例子（二维简化版）：
假设句1向量 A = [3, 4]，句2向量 B = [6, 8]

• 点积 A·B = 3×6 + 4×8 = 18 + 32 = 50
• A模长 = √(3²+4²) = 5，B模长 = √(6²+8²) = 10
• 相似度 = 50 / (5 × 10) = 1.0 → 完全一致（B其实是A的2倍，方向没变）

GTE的1024维向量，计算逻辑完全一样，只是多算了1022次乘加而已。放心，代码帮你搞定。

5.3 手写代码实现：5行搞定核心逻辑

下面这段代码，不依赖任何AI框架，只用基础NumPy，就能复现GTE服务背后的相似度计算：

import numpy as np def cosine_similarity(vec_a, vec_b): """计算两个向量的余弦相似度""" # 确保输入是numpy数组 a = np.array(vec_a) b = np.array(vec_b) # 计算点积 dot_product = np.dot(a, b) # 计算各自模长 norm_a = np.linalg.norm(a) norm_b = np.linalg.norm(b) # 返回相似度 return dot_product / (norm_a * norm_b) # 示例：假设有两个GTE生成的1024维向量（此处用随机数模拟） vec1 = np.random.randn(1024) vec2 = np.random.randn(1024) score = cosine_similarity(vec1, vec2) print(f"余弦相似度: {score:.4f}")

运行它，你会看到一个0~1之间的数字。这就是GTE服务每次点击“计算相似度”时，后台默默执行的数学运算。

5.4 API调用实战：用Python对接服务

上面的手写代码适用于已有向量的情况。但更多时候，你需要先调用GTE服务获取向量，再计算。下面是一段完整、可直接运行的API调用示例：

import requests import numpy as np def get_embedding(text): """调用GTE服务获取单文本向量""" response = requests.post( "http://localhost:7860/api/predict", json={"data": [text, "", False, False, False, False]} ) result = response.json() # 解析返回的向量（实际返回结构可能略有差异，请以服务响应为准） vector = result.get("data", [])[0] return np.array(vector) def calculate_similarity(source, candidates): """批量计算源句与候选句的相似度""" source_vec = get_embedding(source) scores = [] for cand in candidates: cand_vec = get_embedding(cand) score = np.dot(source_vec, cand_vec) / ( np.linalg.norm(source_vec) * np.linalg.norm(cand_vec) ) scores.append(round(score, 4)) return scores # 使用示例 source_text = "我喜欢吃苹果" candidate_texts = [ "我爱吃水果", "苹果是一种常见水果", "我不喜欢香蕉" ] results = calculate_similarity(source_text, candidate_texts) for text, score in zip(candidate_texts, results): print(f"'{text}' → {score}")

这段代码真实模拟了你在生产环境中会写的逻辑：先取向量，再算分。它轻量、健壮、易于集成到你自己的系统中。

6. 实用技巧与避坑指南

刚上手时，有些细节容易忽略，却直接影响效果。这些都是我们在真实项目中踩过的坑，现在一次性告诉你。

6.1 输入长度不是越长越好

GTE中文Large支持最长512个token（约300~400个汉字）。但要注意：不是输入越长，效果越好。

• 推荐：把核心语义浓缩在1~2句话内，比如用户真实提问、产品标题、FAQ标准问法
• 避免：大段描述、带大量停用词（的、了、在、是）的口语化长句、包含无关符号或乱码的文本
  原因很简单：模型注意力机制会优先聚焦关键信息，冗余内容反而稀释语义强度。

6.2 相似度阈值怎么设才合理

0.8是不是一定相似？0.5算不算相关？没有绝对标准，要结合你的业务定：

• 搜索召回：建议阈值0.65~0.75（宁可多召，不可漏召）
• 客服问答匹配：建议0.75~0.85（要求精准，避免答非所问）
• 新闻去重：建议0.85以上（必须高度一致才算重复）

最好的办法是：用你的真实业务数据抽样100对样本，人工标出“是否相关”，再画出阈值-准确率曲线，找到平衡点。

6.3 CPU模式下如何提速

如果你在CPU上运行，发现单次向量生成要2~3秒，可以试试这两个小设置：

1. 在app.py中找到模型加载部分，添加device="cpu"和torch_dtype=torch.float32（避免自动转float16）
2. 对于批量请求，不要逐条调用API，改用一次传入多条文本（需服务端支持批量接口，当前版本可通过修改app.py轻松扩展）

这些优化不改模型，只调用方式，就能让CPU性能提升40%以上。

7. 总结：从理解到落地的关键一步

到这里，你已经完成了GTE中文嵌入模型的完整入门闭环：
知道它是什么——一种把中文语义转化为1024维数字向量的工具
知道它为什么强——基于预训练，理解“意思”而非“字面”
知道怎么跑起来——两行命令，服务即开
知道怎么用——相似度计算、向量提取，界面+API双通道
知道怎么算——余弦相似度公式不再神秘，5行代码亲手实现
知道怎么用好——长度控制、阈值设定、CPU优化等实战经验

文本嵌入不是终点，而是通向智能应用的大门。有了GTE生成的高质量向量，你就可以搭建语义搜索、构建个性化推荐、实现智能对话匹配、完成文档自动归类……所有这些，都始于你今天掌握的这串数字、这个公式、这一行代码。

下一步，不妨选一个你手头的小需求——比如给公司内部知识库加个语义搜索框，或者给客服机器人配一个意图匹配模块——用GTE跑通第一版，你会发现，所谓“AI落地”，其实比想象中更简单、更直接。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。