关卡 3.4

🧹 数据清洗:缺失值、格式统一、异常检测

真实数据往往是脏的。让 WorkBuddy 帮你把"脏数据"变成"干净数据"

🎯 场景导入

你从系统导出了一份订单数据,打开一看:有的日期格式是"2024/1/5",有的是"5-Jan-2024";有些客户的手机号缺了;某行销售额居然写了个负数……这种"脏数据"直接分析会得出错误结论。让 WorkBuddy 先帮你清洗数据,再分析就靠谱多了。

📋 学习目标

  • 学会让 WorkBuddy 自动检测数据质量问题
  • 掌握缺失值填充、格式统一、异常值处理的方法
  • 学会输出清洗后的标准数据文件

📖 分步操作

1. 先诊断,再清洗
检查这份数据文件,告诉我:哪些列有缺失值(各缺多少)、哪些数据格式不一致、有没有明显的异常值
2. 缺失值处理
处理缺失值:数值型列用该列的中位数填充,文本型列标注为"未知"。处理完后统计缺失值是否已全部处理
3. 格式统一
统一所有日期为"YYYY-MM-DD"格式,金额单位统一为"元",手机号去掉空格和横线统一为 11 位纯数字
4. 异常值检测与处理
检测数值列中的异常值(超过平均值 3 倍标准差),列出这些异常行,询问我是否要删除还是修正
5. 一站式清洗
帮我清洗这份数据:1. 检测所有数据质量问题并列出 2. 缺失值自动填充 3. 日期和金额格式统一 4. 标记异常值 5. 输出清洗后的 CSV 文件。每一步完成后告诉我处理了多少条数据

✍️ 跟练 Prompt

假设你有一份客户信息表,存在以下问题:电话格式混乱、地址不完整、出生日期格式不统一。请写出让 WorkBuddy 帮你清洗这些数据的完整 Prompt

💡 小贴士

  • 先诊断再动手:不知道数据有什么问题就盲目清洗,可能越洗越糟。先让 WorkBuddy 扫描一遍。
  • 重要操作前备份:清洗数据是破坏性操作,处理前保留原始文件。
  • 分步确认:每一步清洗后让 WorkBuddy 展示变化,确认无误再继续。

🧪 自测题

1. 清洗数据前,首先应该做什么?