一、脏数据清洗为什么让人头疼
做数据挖掘的朋友们都知道，数据预处理环节就像做饭前的洗菜环节——菜没洗干净，再好的厨艺也做不出美味。而脏数据就是那些混在数据集里的"烂叶子"，它们可能以各种形式存在：缺失值、重复记录、格式错误、异常值...
举个例子，我们从某电商平台爬取的用户购买记录里可能会遇到：
# 技术栈：Python + Pandas
# 示例数据集
import pandas as pd
data = {
'user_id': [101, 102, 103, 104, 105, 106, 107],
'purchase_amount': [150, 'N/A', 200, 300, '三百元', 180, -50], # 包含字符串、中文、负值
'payment_date': ['2023-01-15', '2023-01-16', '2023-01-17', '2023-01-18', '2023-01-19', '2023-02-30', None] # 包含非法日期和空值
}
df = pd.DataFrame(data)
# 问题清单：
# 1. 'N/A'需要转换为缺失值
# 2. '三百元'需要文本解析
# 3. -50是异常值
# 4. '2023-02-30'是非法日期
# 5. None是空值
二、常见脏数据类型的处理秘籍
1. 缺失值处理三连击
缺失值就像衣服上的破洞，我们有三种补法：
# 方法1：直接删除（适合缺失少的场景）
clean_df = df.dropna()
# 方法2：均值/中位数填充（适合数值型）
df['purchase_amount'] = pd.to_numeric(df['purchase_amount'], errors='coerce') # 先强制转换
df['purchase_amount'].fillna(df['purchase_amount'].median(), inplace=True)
# 方法3：预测模型填充（适合重要特征）
from sklearn.ensemble import RandomForestRegressor
# 这里省略特征工程步骤...
model = RandomForestRegressor().fit(train_data, train_labels)
2. 异常值检测的三大神器
异常值就像人群中的巨人，我们可以用这些方法识别：
# IQR方法（最常用）
Q1 = df['purchase_amount'].quantile(0.25)
Q3 = df['purchase_amount'].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df['purchase_amount'] < (Q1 - 1.5*IQR)) | (df['purchase_amount'] > (Q3 + 1.5*IQR)))]
# Z-score方法（适合正态分布）
from scipy import stats
df = df[(np.abs(stats.zscore(df['purchase_amount'])) < 3)]
# 可视化检测（最直观）
import seaborn as sns
sns.boxplot(x=df['purchase_amount'])
三、文本型脏数据的处理艺术
当数据里混入中文、特殊符号时，就需要文本处理技巧了：
# 处理'三百元'这样的中文数字
def chinese_to_arabic(text):
mapping = {'零':0, '一':1, '二':2, '三':3, '四':4,
'五':5, '六':6, '七':7, '八':8, '九':9}
if '百' in text:
return int(mapping[text[0]]) * 100
# 其他转换规则...
return text
df['purchase_amount'] = df['purchase_amount'].apply(
lambda x: chinese_to_arabic(x) if isinstance(x, str) else x)
# 处理日期格式
from datetime import datetime
def validate_date(date_str):
try:
datetime.strptime(date_str, '%Y-%m-%d')
return date_str
except:
return None
df['payment_date'] = df['payment_date'].apply(validate_date)
四、自动化清洗流水线搭建
对于经常要处理相似数据集的情况，我们可以建立自动化流程：
# 技术栈：Python + PySpark
from pyspark.sql import SparkSession
from pyspark.sql.functions import when, col
spark = SparkSession.builder.appName("DataCleaning").getOrCreate()
# 定义清洗规则
cleaning_rules = {
'purchase_amount': [
('N/A', None), # 替换N/A
('三百元', 300), # 中文转数字
('-50', None) # 无效负值
],
'payment_date': [
('2023-02-30', None) # 非法日期
]
}
# 应用清洗规则
for col_name, rules in cleaning_rules.items():
for wrong, right in rules:
df = df.withColumn(col_name,
when(col(col_name) == wrong, right).otherwise(col(col_name)))
# 保存清洗后的数据
df.write.parquet("cleaned_data.parquet")
五、避坑指南与最佳实践
- 不要过度清洗：有些"脏数据"可能包含业务含义，比如-1可能代表特殊状态
- 保留原始数据：永远保存原始数据的副本，清洗过程应该是可逆的
- 文档记录：详细记录每个清洗步骤和决策原因，例如：
| 字段 | 问题类型 | 处理方法 | 处理日期 | |---------------|------------|-----------------------|------------| | purchase_amount | 中文文本 | 转换为阿拉伯数字 | 2023-08-01 | - 性能优化：对于大数据集，可以采样后再设计清洗规则
六、未来展望
随着AI技术的发展，数据清洗也正在智能化：
- 基于ML的自动异常检测（如AutoML）
- 知识图谱辅助的语义清洗
- 区块链技术确保数据血缘可追溯
记住，好的数据清洗不是要把数据变得"完美"，而是要让数据真实反映业务现状的同时，满足分析需求。就像淘金一样，我们要去掉泥沙，但不能把金粒也冲走了！
评论