Python 爬虫项目：文本与标签数据清洗

前言

在网络爬虫工程体系中，数据采集仅为整个业务链路的起始环节，原始爬取所得的文本、标签类数据普遍存在格式混乱、冗余字符混杂、标签嵌套错乱、无效内容占比过高等问题，若直接投入数据分析、数据存储、业务建模等下游环节，会大幅降低数据可用性，甚至引发业务逻辑异常。文本与标签数据清洗作为爬虫数据预处理的核心模块，承担着数据标准化、冗余剔除、格式统一、语义提纯的关键作用，是衔接数据采集与数据应用的必要桥梁。

本文围绕爬虫场景下主流的文本数据、HTML 标签数据展开全维度清洗讲解，结合行业通用处理规则、实战代码案例、底层原理剖析，覆盖基础字符清洗、特殊符号过滤、空白内容处理、HTML 标签解析与剥离、标签属性提取、脏数据剔除、数据编码统一等核心技能。文中所使用的 Python 第三方库均提供官方地址链接，读者可直接跳转完成下载、安装与文档查阅，分别为：requests、BeautifulSoup4、re、lxml、unicodedata。

全文从基础理论、规则定义、代码实战、原理拆解、场景优化五个层面逐步推进，适配中小型爬虫项目、批量数据采集项目、结构化标签数据提取等不同业务场景，同时针对爬虫高频出现的乱码、全角半角混用、嵌套标签、广告冗余文本等典型问题给出落地解决方案，帮助开发者建立标准化的爬虫数据清洗流程。

一、爬虫原始数据特征与清洗目标界定

1.1 爬虫原始数据常见脏数据类型

网络页面由前端代码动态渲染、人工编辑、自动化发布等多种方式生成，不同来源的页面数据存在差异化的脏数据问题，结合爬虫采集场景，可将原始文本与标签脏数据划分为六大类别，各类别特征、产生原因及危害整理如下表所示：

表格

1.2 数据清洗核心目标

结合爬虫业务的实际应用场景，文本与标签数据清洗并非单一的 “删除内容” 操作，而是遵循保留有效信息、统一数据格式、剔除无效冗余、保障数据完整性四大原则，具体目标分为四层： 第一，格式标准化。统一字符编码、统一全角 / 半角字符、统一文本换行与空格规则，消除因排版、录入方式带来的格式差异； 第二，冗余内容剔除。清除空白字符、特殊符号、广告文本、脚本与样式标签等无业务价值内容，精简数据体量； 第三，结构化提纯。对 HTML 标签数据进行拆解、筛选、属性过滤，将非结构化的标签代码转化为结构化文本或键值对数据； 第四，数据合规化。过滤不可见控制字符、非法字符，保证清洗后的数据可正常入库、解析、运算，规避程序运行异常。

1.3 清洗流程整体架构

标准的爬虫文本与标签数据清洗遵循固定的串行流程，该流程可根据业务需求灵活裁剪模块，通用流程依次为：原始数据获取 → 编码检测与统一 → 基础空白字符清洗 → 特殊符号与乱码过滤 → HTML 标签解析与剥离 → 标签属性筛选与提取 → 全角半角格式转换 → 冗余文本人工规则过滤 → 数据校验与结果输出。

该流程采用逐层过滤的设计逻辑，先处理通用性强的全局问题，再针对标签、文本的个性化问题进行精细化处理，最后完成数据校验，能够最大程度保证清洗效果，同时降低单一步骤的处理复杂度，便于后期维护与规则迭代。

二、爬虫数据清洗必备库详解与环境配置

本文所有代码案例基于 Python 3.8 及以上版本开发，所依赖的库分为标准库与第三方库两类，标准库为 Python 内置模块，无需额外安装，第三方库需要通过 pip 工具完成安装，下文逐一说明各库的功能、安装命令及在数据清洗中的应用场景。

2.1 标准库介绍

2.1.1 re 正则表达式库

re 是 Python 内置的正则表达式处理库，官方文档地址：https://docs.python.org/3/library/re.html。正则表达式是爬虫数据清洗的核心工具，主要用于模糊匹配、批量替换、内容提取、脏数据过滤。在本文场景中，该库主要实现空白字符批量删除、特殊符号匹配剔除、HTML 标签正则剥离、重复文本匹配清除等功能。正则表达式具备强大的模式匹配能力，能够应对无固定结构的杂乱文本，是复杂脏数据处理的首选方案。

2.1.2 unicodedata 字符编码处理库

unicodedata 为 Python 内置 Unicode 字符处理库，官方文档地址：https://docs.python.org/3/library/unicodedata.html。该库主要用于识别字符类型、转换全角 / 半角字符、过滤 Unicode 不可见字符。网络页面绝大多数内容基于 Unicode 编码，不同地区、不同网站的字符编码规则存在差异，该库可以实现跨编码的字符标准化处理，解决全角半角混用、隐形控制字符等典型问题。

2.2 第三方库介绍

2.2.1 requests 网络请求库

官方地址：https://pypi.org/project/requests/，安装命令：pip install requests。该库用于模拟浏览器发送网络请求，爬取网页原始 HTML 代码与文本数据，为后续清洗环节提供原始数据源。requests 库简化了 HTTP 请求逻辑，支持请求头、代理、超时、Cookie 等爬虫常用配置，是 Python 爬虫领域的基础请求库。

2.2.2 BeautifulSoup4 标签解析库

官方地址：https://pypi.org/project/beautifulsoup4/，安装命令：pip install beautifulsoup4。BeautifulSoup4 简称 bs4，是专门用于解析 HTML、XML 标签的工具库，区别于正则表达式的模糊匹配，该库可以按照 HTML 节点结构精准定位标签、提取文本、筛选属性，适合结构化 HTML 标签的精细化清洗。

2.2.3 lxml 解析器

官方地址：https://pypi.org/project/lxml/，安装命令：pip install lxml。lxml 是高性能的 HTML/XML 解析器，可作为 BeautifulSoup4 的底层解析引擎，相比 Python 默认的 html.parser 解析器，lxml 解析速度更快、容错性更强，能够正常解析书写不规范的网页 HTML 代码，适配绝大多数实战爬虫场景。

2.3 环境完整性校验

完成所有库安装后，可执行以下校验代码，验证环境是否正常运行，若控制台无报错并输出对应内容，则代表环境配置完成。

python

运行

# 环境校验代码 import requests from bs4 import BeautifulSoup import re import unicodedata # 简单测试库导入与基础功能 test_str = "测试文本 \n\t特殊空格" res = re.sub(r"\s+", "", test_str) print("正则处理结果：", res) print("所有依赖库导入成功，环境配置完成")

代码原理：本段代码首先依次导入本文用到的所有核心库，验证库文件是否存在；随后定义包含空格、换行、制表符的测试字符串，调用 re.sub () 方法使用正则匹配所有空白字符并替换为空，以此验证正则库的基础功能。该校验逻辑简单直观，可快速排查库缺失、版本冲突等基础环境问题。

三、基础文本清洗实战与原理剖析

基础文本清洗针对纯文本数据开展处理，也是标签数据清洗的前置步骤，主要解决空白字符、不可见字符、特殊符号、乱码、全角半角混用等通用问题。本节结合分阶段代码案例，逐一讲解功能实现、代码逻辑与底层原理。

3.1 空白类字符清洗

3.1.1 常见空白字符说明

爬虫采集的文本中，空白字符并非只有肉眼可见的半角空格，还包含多种转义字符与全角空格，主流空白字符明细如下：

1. 半角空格：，ASCII 编码 32，网页排版最常用空格；
2. 全角空格：，Unicode 编码 12288，中文排版专用空格；
3. 换行符：\n，ASCII 编码 10，页面自动换行生成；
4. 回车符：\r，ASCII 编码 13，Windows 系统文本换行标识；
5. 制表符：\t，ASCII 编码 9，HTML 代码缩进、表格排版生成。

以上字符单独出现或连续叠加，都会造成文本冗余，需根据业务场景选择全部清除或合并为单个空格两种处理方式。

3.1.2 方案一：清除所有空白字符

适用于关键词提取、短文本存储、标签文本提纯等场景，代码案例如下：

python

运行

import re def clear_all_blank(text): """清除文本中所有类型的空白字符""" if not isinstance(text, str): return "" # 正则匹配所有空白字符并替换为空 pattern = r"\s+| +" result = re.sub(pattern, "", text) return result # 测试数据 raw_text = "Python爬虫 数据清洗\n\t全角空格 测试\r多行文本" clean_text = clear_all_blank(raw_text) print("原始文本：", repr(raw_text)) print("清洗后文本：", repr(clean_text))

代码原理：

1. 函数入参增加类型判断，若传入数据非字符串类型（如 None、数字、列表等），直接返回空字符串，规避类型报错，提升函数鲁棒性；
2. 正则表达式\s+是正则内置元字符，匹配半角空格、\n、\r、\t所有 ASCII 空白字符，+表示匹配一个及以上连续字符；
3. +专门匹配连续的全角空格，两个规则通过|实现或逻辑，完成所有空白字符的全覆盖；
4. re.sub () 方法执行全局替换，将所有匹配到的空白字符替换为空字符串，最终实现全空白字符清除。

3.1.3 方案二：连续空白合并为单个空格

适用于长文本分析、文章内容提取、语义分析等场景，此类场景需要保留单词、语句之间的分隔，仅清理多余空白，代码案例如下：

python

运行

import re def merge_blank_to_single(text): """将连续空白字符合并为单个半角空格""" if not isinstance(text, str): return "" # 统一全角空格为半角空格 step1 = text.replace(" ", " ") # 连续多个半角空白合并为单个空格 step2 = re.sub(r"\s+", " ", step1) # 清除文本首尾多余空格 step3 = step2.strip() return step3 # 测试数据 raw_text = " 爬虫技术 文本清洗\n\t标签解析 实战案例 " clean_text = merge_blank_to_single(raw_text) print("原始文本：", repr(raw_text)) print("清洗后文本：", repr(clean_text))

代码原理：

1. 分步处理逻辑：第一步使用字符串原生 replace () 方法，将全角空格统一替换为半角空格，实现空格类型归一；
2. 第二步通过正则\s+匹配所有连续空白字符，统一替换为单个半角空格，解决多行、多空格叠加问题；
3. 第三步调用字符串 strip () 方法，清除文本头部与尾部的空格，这是文本处理的通用收尾逻辑，避免首尾冗余空格影响后续处理；
4. 分步设计的优势在于逻辑拆分清晰，可单独调整某一步规则，适配不同的空格处理需求。

3.2 不可见控制字符与乱码清洗

网络页面因编码错误、老旧服务器、特殊编辑器等问题，会产生 Unicode 不可见控制字符、中文乱码、问号占位符等脏数据，这类字符肉眼无法识别，但会导致数据库入库失败、字符串运算异常。

3.2.1 不可见控制字符过滤代码

python

运行

import unicodedata def remove_control_char(text): """过滤Unicode不可见控制字符""" if not isinstance(text, str): return "" clean_list = [] for char in text: # 判断字符是否为控制字符 if not unicodedata.category(char).startswith("C"): clean_list.append(char) return "".join(clean_list) # 测试数据（包含隐形控制字符） raw_text = "爬虫数据\x00清洗测试\x01文本内容" clean_text = remove_control_char(raw_text) print("原始文本长度：", len(raw_text)) print("清洗后文本长度：", len(clean_text)) print("清洗结果：", repr(clean_text))

代码原理：

1. unicodedata.category (char) 会返回当前字符的 Unicode 分类编码，以大写字母开头，分类以C开头的字符均为控制字符、格式字符、未定义字符，属于无业务价值的隐形字符；
2. 代码采用遍历字符的方式，逐个判断字符类型，仅保留非控制字符并存入列表；
3. 最终通过 join () 方法将字符列表拼接为完整字符串。相比正则表达式，该方式对 Unicode 字符的识别精度更高，能够覆盖所有语种、所有编码下的控制字符，是行业通用的隐形字符过滤方案。

3.2.2 网页乱码统一修复

爬虫采集页面时，若请求头编码配置错误、页面编码声明混乱，会出现中æ–‡这类典型乱码，针对 UTF-8 与 GBK 编码混用的场景，提供通用转码修复代码：

python

运行

def fix_web_garbled(text, origin_encoding="gbk", target_encoding="utf-8"): """修复网页编码乱码，默认GBK转UTF-8""" try: # 先按原始编码解码，再转为目标编码 raw_bytes = text.encode(origin_encoding, errors="ignore") clean_text = raw_bytes.decode(target_encoding, errors="ignore") return clean_text except Exception: # 转码失败则返回原文本 return text # 测试乱码文本 garbled_text = "中文文本" fixed_text = fix_web_garbled(garbled_text) print("乱码修复结果：", fixed_text)

代码原理：

1. 网页乱码的本质是编码和解码规则不匹配，例如页面实际为 GBK 编码，爬虫却按照 UTF-8 解码，字节流解析错位就会产生乱码；
2. 代码先将乱码字符串按照页面原始编码转为字节流，再使用标准 UTF-8 编码重新解码，完成编码矫正；
3. 参数errors="ignore"表示转码失败时忽略异常字符，避免单个异常字符导致整个文本处理中断，提升代码容错性；
4. 增加异常捕获逻辑，当编码无法修复时直接返回原文本，保证程序持续运行。

3.3 特殊符号与 Emoji 表情过滤

网页文本中常包含 emoji 表情、版权符号、商标符号、特殊标点等内容，在数据分析、数据入库场景中这类内容无实际意义，需要批量过滤。结合正则表达式实现精准匹配与删除。

python

运行

import re def filter_special_symbol(text): """过滤Emoji表情、特殊符号、非中英文常规标点""" if not isinstance(text, str): return "" # 正则规则：匹配Emoji、特殊符号、全角特殊标点 emoji_pattern = re.compile( "[" u"\U0001F600-\U0001F64F" # 表情符号 u"\U0001F300-\U0001F5FF" # 符号&图标 u"\U0001F680-\U0001F6FF" # 交通&地图图标 u"\U0001F1E0-\U0001F1FF" # 国旗图标 u"\U00002500-\U00002BEF" # 特殊符号 u"\U00002702-\U000027B0" u"\U000024C2-\U0001F251" "]+", flags=re.UNICODE ) # 过滤Emoji step1 = emoji_pattern.sub("", text) # 过滤非常规特殊符号，保留中英文、数字、常用标点 step2 = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9\，。、；：？！‘’“”（）《》,.?!:()]", "", step1) return step2 # 测试数据 raw_text = "Python爬虫😊数据清洗©，标签解析#实战案例！123ABC" clean_text = filter_special_symbol(raw_text) print("原始文本：", raw_text) print("过滤后文本：", clean_text)

代码原理：

1. Emoji 表情属于 Unicode 扩展字符，分布在多个 Unicode 编码区间内，代码通过划分编码区间，精准匹配所有主流 emoji 表情，使用 sub () 方法全部替换为空；
2. 第二条正则规则[^\u4e00-\u9fa5a-zA-Z0-9常用标点]采用反向匹配逻辑：^在中括号内表示取反，即保留中文字符（\u4e00-\u9fa5）、英文字母、数字、中英文常用标点，其余所有特殊符号全部过滤；
3. re.UNICODE 标识开启 Unicode 匹配模式，保证多语言字符正常识别；
4. 分层过滤逻辑：先处理大范围的 emoji 表情，再过滤零散特殊符号，匹配效率更高，规则划分更清晰。

3.4 全角字符与半角字符统一转换

中文网站普遍存在全角数字、全角字母与半角字符混用的问题，会导致数据统计、字符串匹配结果出错，行业通用标准为统一转为半角字符。

python

运行

import unicodedata def full_to_half(text): """全角字符统一转换为半角字符""" if not isinstance(text, str): return "" result = [] for char in text: # 判断是否为全角字符 char_code = ord(char) # 全角空格单独处理，全角空格编码12288，半角空格32 if char_code == 12288: char = chr(32) # 其余全角字符编码范围：65280 ~ 65374 elif 65280 <= char_code <= 65374: char = chr(char_code - 65248) result.append(char) return "".join(result) # 测试数据 raw_text = "全角数字：１２３４５，全角字母：ＡＢＣＤＥ，混合文本" clean_text = full_to_half(raw_text) print("转换前：", raw_text) print("转换后：", clean_text)

代码原理：

1. 字符转换基于 Unicode 编码差值规则：绝大多数全角字符与对应半角字符的编码差值为 65248，全角空格为特殊字符，编码单独区分；
2. ord (char) 函数获取单个字符的 Unicode 编码，chr () 函数根据编码还原为对应字符；
3. 遍历文本中每一个字符，判断编码区间并完成转换，非全角字符直接保留；
4. 该方案是 Python 实现全角半角转换的标准写法，执行效率高，无正则匹配的性能损耗，适合大批量文本转换场景。

四、HTML 标签数据清洗实战与原理剖析

HTML 标签数据是爬虫采集的核心数据类型，区别于纯文本，标签数据具备层级结构、节点属性、嵌套关系等特征，单纯使用正则清洗容易出现标签剥离不彻底、有效内容误删等问题，因此优先使用 BeautifulSoup4 结合 lxml 解析器进行结构化清洗，正则作为辅助补充。

4.1 HTML 标签清洗分类与处理原则

按照业务用途，将 HTML 标签分为三类，并制定对应的清洗规则，如下表所示：

表格

标签清洗核心原则：先删除整体无效标签，再剥离布局标签，最后精细化提取业务标签与属性，遵循由粗到细的处理逻辑。

4.2 无效标签整体删除

<script>脚本标签、<style>样式标签、HTML 注释标签是网页中占比最高的无效标签，内部内容均为前端逻辑、样式代码，无业务价值，需要整体移除。

python

运行

from bs4 import BeautifulSoup def remove_useless_tags(html_content): """删除script、style、注释等无效标签""" if not html_content: return "" # 使用lxml解析器创建解析对象 soup = BeautifulSoup(html_content, "lxml") # 定义需要删除的标签列表 useless_tags = ["script", "style", "iframe"] # 遍历并删除标签 for tag in useless_tags: for item in soup.find_all(tag): item.decompose() # 删除HTML注释内容 for comment in soup.find_all(string=lambda text: text and text.startswith("<!--")): comment.extract() # 返回处理后的HTML文本 return str(soup) # 测试HTML代码 raw_html = """ <html> <head> <style>body{color:#333;}</style> </head> <body> <!-- 页面注释内容 --> <script>console.log("测试脚本")</script> <p>爬虫标签清洗正文内容</p> </body> </html> """ clean_html = remove_useless_tags(raw_html) print("清洗后HTML：\n", clean_html)

代码原理：

1. BeautifulSoup 加载 HTML 文本并指定lxml解析器，lxml 具备极强的容错性，即使 HTML 代码书写不规范也可正常解析；
2. find_all (tag) 方法会定位页面中所有指定名称的标签，decompose () 方法会彻底删除标签及标签内部的所有内容，区别于 extract ()，decompose () 无返回值，专门用于永久移除节点；
3. HTML 注释不属于标准标签，而是注释字符串，通过string参数匹配以<!--开头的注释内容，使用 extract () 方法提取并移除；
4. 批量遍历标签列表实现多类型无效标签统一删除，代码可扩展性强，新增无效标签仅需修改列表即可。

4.3 布局标签剥离，提取纯文本

完成无效标签删除后，<div>、<span>、<p>等布局标签依然存在，若业务仅需要纯文本内容，可直接剥离所有标签，提取标签内的有效文本。

python

运行

from bs4 import BeautifulSoup def html_to_plain_text(html_content): """剥离所有HTML标签，提取纯文本""" if not html_content: return "" soup = BeautifulSoup(html_content, "lxml") # get_text()提取所有标签内文本，参数separator指定文本分隔符 plain_text = soup.get_text(separator="", strip=False) return plain_text # 测试HTML raw_html = "<div>Python爬虫</div><span>标签清洗</span><p>实战案例</p>" text_result = html_to_plain_text(raw_html) print("提取纯文本：", text_result)

代码原理：

1. BeautifulSoup 内置get_text()方法是提取标签文本的专用方法，会递归遍历所有子标签，提取节点内全部文本内容；
2. separator参数用于设置不同标签文本之间的分隔符，可根据需求设置为空、空格、换行符等；
3. 该方法相比正则表达式剥离标签，优势在于不会误删文本内容，能够完美处理多层嵌套标签，是 HTML 转纯文本的最优方案；
4. 结合前文的空白字符清洗函数，可实现 “标签剥离 + 文本清洗” 的组合流程。

4.4 业务标签属性筛选与清洗

对于<a>链接标签、<img>图片标签等业务标签，不仅需要文本，还需要提取标签属性，同时过滤无用属性，保留业务所需属性。

python

运行

from bs4 import BeautifulSoup def extract_a_label_attr(html_content): """清洗a标签，提取href链接与文本，过滤多余属性""" if not html_content: return [] soup = BeautifulSoup(html_content, "lxml") a_list = [] # 查找所有a标签 a_tags = soup.find_all("a") for tag in a_tags: # 提取核心属性与文本 link = tag.get("href", "") text = tag.get_text(strip=True) # 过滤空链接、空文本的无效a标签 if link and text: a_list.append({"link": link, "text": text}) return a_list # 测试HTML raw_html = ''' <a href="https://www.example.com" class="title" style="color:red">爬虫教程</a> <a href="" class="empty">空链接标签</a> <a href="https://www.test.com">数据清洗案例</a> ''' result = extract_a_label_attr(raw_html) print("清洗后的a标签数据：", result)

代码原理：

1. find_all ("a") 定位页面所有超链接标签，遍历单个标签进行精细化处理；
2. tag.get ("href", "") 提取标签的 href 属性，第二个参数为默认值，当属性不存在时返回空字符串，避免键值报错；
3. 增加数据过滤逻辑，剔除链接为空、文本为空的无效标签，减少脏数据输出；
4. 最终以字典列表的结构化格式返回数据，便于后续存储、二次处理与数据分析；
5. 标签原生的 class、style、id 等样式属性会被自动忽略，实现属性精简清洗。

4.5 正则辅助清洗复杂畸形标签

部分网站 HTML 代码极度不规范，存在标签缺失闭合、乱嵌套等问题，lxml 解析器解析效果不佳，此时使用正则表达式作为补充方案，批量剥离 HTML 标签。

python

运行

import re def regex_remove_all_tags(html_content): """正则表达式批量剥离所有HTML标签（适用于畸形HTML）""" if not html_content: return "" # 正则匹配所有HTML标签 tag_pattern = re.compile(r"<[^>]+>", re.S) result = tag_pattern.sub("", html_content) return result # 测试畸形HTML raw_html = "<div>标签<spaan>畸形</div>测试<<br>>内容" text = regex_remove_all_tags(raw_html) print("正则剥离标签结果：", text)

代码原理：

1. 正则表达式<[^>]+>是剥离 HTML 标签的通用规则：<匹配标签起始符，[^>]+匹配所有非>的字符（即标签内部所有内容），>匹配标签结束符；
2. re.S 标识开启单行模式，让.元字符匹配换行符，支持跨行标签匹配；
3. 该方案优点是对畸形 HTML 兼容性极强，缺点是无法区分有效标签与无效标签，会统一全部剥离，因此仅作为 BeautifulSoup 解析失败时的备用方案。

五、综合清洗案例：完整爬虫数据清洗链路

前文已拆分讲解各类清洗功能，本节整合所有模块，搭建 **“爬取网页 → 编码修复 → 空白清洗 → 特殊符号过滤 → 标签清洗 → 格式统一 → 结果输出”** 的完整业务链路，模拟真实爬虫项目流程。

5.1 完整综合代码

python

运行

import requests import re import unicodedata from bs4 import BeautifulSoup # 1. 空白字符清洗 def merge_blank_to_single(text): if not isinstance(text, str): return "" step1 = text.replace(" ", " ") step2 = re.sub(r"\s+", " ", step1) step3 = step2.strip() return step3 # 2. 过滤控制字符 def remove_control_char(text): if not isinstance(text, str): return "" clean_list = [] for char in text: if not unicodedata.category(char).startswith("C"): clean_list.append(char) return "".join(clean_list) # 3. 过滤特殊符号与Emoji def filter_special_symbol(text): if not isinstance(text, str): return "" emoji_pattern = re.compile( "[" u"\U0001F600-\U0001F64F" u"\U0001F300-\U0001F5FF" u"\U0001F680-\U0001F6FF" u"\U0001F1E0-\U0001F1FF" u"\U00002500-\U00002BEF" u"\U00002702-\U000027B0" u"\U000024C2-\U0001F251" "]+", flags=re.UNICODE ) step1 = emoji_pattern.sub("", text) step2 = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9\，。、；：？！‘’“”（）《》,.?!:()]", "", step1) return step2 # 4. 全角转半角 def full_to_half(text): if not isinstance(text, str): return "" result = [] for char in text: char_code = ord(char) if char_code == 12288: char = chr(32) elif 65280 <= char_code <= 65374: char = chr(char_code - 65248) result.append(char) return "".join(result) # 5. 删除无效HTML标签 def remove_useless_tags(html_content): if not html_content: return "" soup = BeautifulSoup(html_content, "lxml") useless_tags = ["script", "style", "iframe"] for tag in useless_tags: for item in soup.find_all(tag): item.decompose() for comment in soup.find_all(string=lambda text: text and text.startswith("<!--")): comment.extract() return str(soup) # 6. 统一文本全流程清洗入口函数 def full_text_clean(text): text = remove_control_char(text) text = merge_blank_to_single(text) text = filter_special_symbol(text) text = full_to_half(text) return text # 7. 完整爬虫+清洗主流程 def crawl_and_clean_page(url): # 发送请求爬取网页 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" } try: response = requests.get(url, headers=headers, timeout=10) # 统一编码为UTF-8 response.encoding = "utf-8" raw_html = response.text # 第一步：清洗无效HTML标签 clean_html = remove_useless_tags(raw_html) # 第二步：标签转纯文本 soup = BeautifulSoup(clean_html, "lxml") raw_text = soup.get_text() # 第三步：全流程文本清洗 final_text = full_text_clean(raw_text) return { "原始HTML长度": len(raw_html), "清洗后纯文本": final_text, "清洗后文本长度": len(final_text) } except Exception as e: return {"错误信息": str(e)} # 执行测试（可替换为任意测试页面） if __name__ == "__main__": test_url = "https://www.baidu.com" result_data = crawl_and_clean_page(test_url) for k, v in result_data.items(): print(f"{k}：{v}")

5.2 综合流程原理说明

1. 模块化设计：将不同清洗功能拆分为独立函数，每个函数仅负责单一功能，符合软件工程高内聚、低耦合的设计思想，便于单独调试、修改与复用；
2. 执行顺序逻辑：整体流程遵循网页爬取 → 标签清洗 → 文本提取 → 多层文本清洗的顺序，先处理 HTML 结构，再处理文本内容，避免标签干扰文本清洗规则；
3. 异常防护：网络请求增加请求头、超时时间、异常捕获，文本函数全部增加类型判断，全方位规避网络异常、数据类型异常、解析异常；
4. 规则叠加：依次执行控制字符过滤、空白合并、特殊符号过滤、全角半角转换，逐层优化文本格式，保证最终数据标准化；
5. 输出结构化：最终以字典形式返回原始数据体量、清洗后内容、清洗后体量，便于统计清洗效果，适配自动化运维、批量爬虫项目。

六、爬虫数据清洗优化策略与场景适配

6.1 大批量数据清洗性能优化

当面对十万级、百万级爬虫文本数据时，单线程循环处理会出现性能瓶颈，结合 Python 特性给出两类优化方案： 第一，正则表达式预编译。将频繁使用的正则规则在程序初始化阶段完成编译，避免循环中重复编译正则对象，大幅提升执行速度。例如将 emoji 正则、空白正则提前编译为全局变量。 第二，分块处理 + 多线程。将大批量文本列表切分为多个子列表，使用 threading 多线程并行执行清洗函数，利用多核 CPU 资源提升整体处理效率，适用于离线批量清洗场景。 第三，减少字符串频繁拼接。Python 中字符串为不可变对象，循环拼接会频繁生成新对象，优先使用列表存储字符，最后统一 join 拼接，本文案例中已采用该优化方式。

6.2 不同业务场景规则适配

不同爬虫业务对清洗粒度要求不同，开发者可按需裁剪清洗规则，具体适配方案如下：

1. 搜索引擎关键词采集：仅保留中英文、数字，过滤所有符号、空格、标签，使用全量过滤规则；
2. 文章内容爬取：保留常用标点与合理空格，仅删除空白、脚本标签、广告文本，不执行全符号过滤；
3. 商品标签、分类数据爬取：保留 HTML 业务标签与核心属性，仅删除样式、脚本标签，不剥离所有标签；
4. 舆情分析、评论采集：保留 emoji、表情符号（作为情感分析依据），关闭特殊符号过滤模块，仅清理空白与无效标签。

6.3 常见问题排查与解决方案

结合实战经验，整理数据清洗过程中高频问题及对应解决办法：

1. 清洗后文本出现大量乱码：根源为网页编码识别错误，解决方案：优先使用response.apparent_encoding自动识别页面编码，替代手动指定编码；
2. 标签清洗后有效内容丢失：根源为误删业务标签，解决方案：优先使用 BeautifulSoup 精准删除指定无效标签，不使用正则全局剥离标签；
3. 连续清洗后文本变为空字符串：根源为过滤规则过于严格，解决方案：分步执行清洗，每一步打印中间结果，定位误过滤规则并放宽匹配范围；
4. 全角半角转换失效：根源为字符并非标准 Unicode 全角字符，解决方案：补充自定义特殊全角字符映射字典，手动完成转换。