以打开生成的Excel文件查看完整的重复行列表和详细信息。代码使用了TF-IDF和余弦相似度算法，可以有效识别内容大体一致但不完全相同的文本内容。
完全相同的重复行
- 找到多组完全重复的内容（包括"文本3"等占位符文本）
- 完全重复的行数：5 行
2. 近似重复的行（相似度 ≥ 85%）
- 找到 15 组 近似重复
- 近似重复的行数：18 行
3. 主要重复组示例
import pandas as pd import numpy as np from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity from collections import defaultdict # 读取Excel文件 file_path = '新闻驱动alpha2.xlsx' df = pd.read_excel(file_path) # 检查是否有"文本3"列 if '文本3' not in df.columns: print("错误：未找到'文本3'列，请检查列名") print(f"当前列名: {df.columns.tolist()}") exit()
