真实数据往往是脏的。让 WorkBuddy 帮你把"脏数据"变成"干净数据"
你从系统导出了一份订单数据,打开一看:有的日期格式是"2024/1/5",有的是"5-Jan-2024";有些客户的手机号缺了;某行销售额居然写了个负数……这种"脏数据"直接分析会得出错误结论。让 WorkBuddy 先帮你清洗数据,再分析就靠谱多了。
检查这份数据文件,告诉我:哪些列有缺失值(各缺多少)、哪些数据格式不一致、有没有明显的异常值
处理缺失值:数值型列用该列的中位数填充,文本型列标注为"未知"。处理完后统计缺失值是否已全部处理
统一所有日期为"YYYY-MM-DD"格式,金额单位统一为"元",手机号去掉空格和横线统一为 11 位纯数字
检测数值列中的异常值(超过平均值 3 倍标准差),列出这些异常行,询问我是否要删除还是修正
帮我清洗这份数据:1. 检测所有数据质量问题并列出 2. 缺失值自动填充 3. 日期和金额格式统一 4. 标记异常值 5. 输出清洗后的 CSV 文件。每一步完成后告诉我处理了多少条数据
1. 清洗数据前,首先应该做什么?