3.1 数据体检清单（6个核心问题）

本章学习目标：

• 建立“拿到数据先体检”的职业习惯
• 记住6个核心问题及其背后的检查目的
• 学会向AI描述体检需求
• 能够读懂体检结果并判断“有没有问题”

一、为什么叫“体检”？

想象你去医院做体检：

体检的核心逻辑：

1. 先做标准化检查（每个人都有同样的项目）
2. 发现问题再深入检查（某项指标异常，加做专项）
3. 拿到报告后判断“正常”还是“有问题”

体检的意义：不要在生病后才去看病，而是在数据进入分析流程之前，就发现潜在问题。

二、体检清单：6个核心问题

无论拿到什么数据，你都需要回答这6个问题：

三、逐一拆解6个问题

问题1：数据长什么样？

这个问题问的是：我加载的数据，看起来对吗？

具体做：看表格的前几行（通常是5-10行）

你从这步能发现什么：

如何向AI描述：

“帮我读取这个文件，显示前10行，让我看看数据长什么样”

“这个Excel前3行是无关内容，跳过前3行再读”

核心心法：这一步就像你收到一堆快递，先拆开看一眼里面是什么，别急着往冰箱里塞。

问题2：有多少行、多少列？

这个问题问的是：数据规模有多大？

具体做：获取表格的“形状”——行数 × 列数

知道这个数字后，你能判断什么：

如何向AI描述：

“告诉我这个表格有多少行、多少列”

“这个数据集的规模是多大？”

核心心法：知道数据规模，你就知道自己手里是“自行车”还是“卡车”——决定你用什么方式去开它。

问题3：每列是什么类型？

这个问题问的是：每列存储的是什么类型的数据？

常见的类型及含义：

为什么类型这么重要？

因为类型决定了你能做什么操作，也决定了不能做什么操作：

经典错误案例：

• 把用户ID当成数字，求平均ID（毫无意义）
• 把手机号当成数字，前面的0丢了
• 把日期当成文本，无法计算“今天距离注册过了多少天”

常见的问题类型及如何处理：

如何向AI描述：

“检查每一列的数据类型，看看有没有类型不对的”

“user_id应该是字符串，不是数字，帮我转一下”

“把order_date列从文本转成日期格式”

核心心法：类型决定一切。类型对了，分析才可能对；类型错了，结果一定是错的。

问题4：哪些列有缺失？缺了多少？

这个问题问的是：数据里有多少“空位”？

什么是缺失值：数据表格里某些单元格是空的，原因可能是：

• 用户没填（年龄、性别）
• 系统没记录（某些日志没采集到）
• 数据合并时没匹配上

为什么要关注缺失值：

缺失值处理的三条原则（提前预告，后续会细讲）：

如何向AI描述：

“检查每一列的缺失值数量，告诉我哪些列缺了、缺了多少、占比多少”

“这个表里有哪些列存在空值？”

核心心法：缺失值就像体检报告里的“未检测”——你得知道哪些指标没测到，才能决定是重测、忽略、还是用其他方式推断。

问题5：数值分布如何？

这个问题问的是：数值列的大致情况——最大值、最小值、集中在什么范围？

具体看什么：对于每一列数值数据，看以下指标：

你能从这些数字中发现的“异常信号”：

一个具体例子：收入数据

如何向AI描述：

“对数值列做描述性统计分析，告诉我均值、标准差、最大最小值、以及各分位数”

“检查年龄列有没有异常值，比如小于0或大于120的”

“看看金额列的最大值是否合理，有没有异常的极高值”

核心心法：不要相信任何一个数字，直到你检查过它的分布。一个异常值就能让均值完全失真。

问题6：有哪些唯一值？

这个问题问的是：文本/分类列里，都有哪些不同的取值？

具体看什么：

你能发现的问题：

一个具体例子：城市列的数据质量检查

假设你在分析用户数据，查看“城市”列的唯一值：

唯一值：["北京", "北京市", "BJ", "beijing", "上海", "上海市", "广州", "深圳"]

问题：北京出现了4种不同的写法！这会导致：

• 统计北京用户数量时只能数到“北京”那部分，漏掉了其他写法
• 分组分析时会产生虚假的多个组

解决方案：告诉AI“把城市列中所有指向北京的值统一成‘北京’”。

如何向AI描述：

“列出城市列的所有唯一值”

“统计每个城市的用户数量，按从高到低排序”

“检查状态列有哪些不同的取值，看看有没有不规范的写法”

核心心法：分类变量只有在取值规范时才有意义。脏数据会让你的分组和统计完全失准。

四、体检清单速查卡

五、完整体检报告示例

假设你拿到一份“用户订单数据”，体检后你应该能回答：

【数据体检报告】 1. 数据概况：891行 × 12列 2. 类型检查： - 正常：乘客ID、票价等是数字 - 异常：年龄列是文本类型，需要转数字 - 异常：登船时间列是文本，应该是日期 3. 缺失检查： - 年龄列：177个缺失（占20%），需要填充 - 船舱号列：687个缺失（占77%），考虑删除 - 登船港口列：2个缺失（占0.2%），影响很小 4. 数值分布检查（票价列）： - 最小值：0 → 不合理，票价不能为0 - 最大值：512 → 合理范围内 - 均值：32，中位数：14 → 均值>中位数，存在高价票拉高均值 5. 唯一值检查（登船港口列）： - 唯一值：['S', 'C', 'Q'] → 规范 - 唯一值（性别列）：['male', 'female'] → 规范 【体检结论】 - 需要处理：年龄类型转换、年龄缺失填充、票价0值检查 - 建议删除：船舱号列（缺失太多） - 可忽略：登船港口的2个缺失

六、如何向AI描述体检需求（提示词模板汇总）

七、本章总结

6个核心问题（必须记住）

1. 数据长什么样？→ 看一眼前几行
2. 有多少行、多少列？→ 知道数据规模
3. 每列是什么类型？→ 数字/文本/日期决定能做什么操作
4. 哪些有缺失？→ 知道数据不完整的地方
5. 数值分布如何？→ 最大/最小/均值/中位数
6. 有哪些唯一值？→ 分类变量有哪些取值

核心心法

“拿到数据，先体检，后分析”——这是区分“新手”和“老手”的第一道分水岭。

• 新手：急着跑模型、做图表
• 老手：先花5分钟体检，确认数据没问题再动手

体检花的5分钟，能帮你省下后续5小时的返工时间。

思考题

1. 你刚读取了一个CSV文件，用head()查看前5行，发现第一行显示“## 2024年销售报表”，第二行显示“导出时间：2024-01-15”，第三行才是列名。这意味着什么？你应该怎么办？

2. info()显示“年龄”列有200个非空值，但总行数是1000行。这说明什么？缺失比例是多少？应该怎么办？

3. describe()显示“金额”列的最小值是-100，最大值是999999，均值是5000，中位数是300。你能从中发现哪些异常信号？

4. value_counts()查看“城市”列，发现有“北京”、“北京市”、“BJ”、“北平”四种写法。这会导致什么问题？你应该怎么处理？

5. 你拿到一张1000万行、50列的数据集。在用info()和describe()之前，你应该先问哪个问题？为什么？

下一节预告：3.2 工具速查 —— 用什么工具完成这6个体检项目？head()、info()、describe()、value_counts()……每个工具是干嘛的、输出长什么样？