简介

AI数据清洗利用大模型辅助处理缺失值、检测异常值、标准化格式和去重，让数据准备工作更加智能。

AI辅助缺失值处理

# AI智能填补缺失值
import pandas as pd
from openai import OpenAI

client = OpenAI(api_key="your-api-key")

def ai_fillna(df, column):
    """用AI根据上下文智能填补缺失值"""
    sample = df[column].dropna().head(10).tolist()
    response = client.chat.completions.create(
        model="gpt-4",
        messages=[
            {"role": "system", "content": "根据样本数据推测缺失值的最可能值，只返回值，不解释。"},
            {"role": "user", "content": f"列名: {column}\n样本值: {sample}\n请推测合适的默认值:"}
        ],
        max_tokens=50
    )
    fill_value = response.choices[0].message.content.strip()
    df[column].fillna(fill_value, inplace=True)
    return df

df = pd.read_csv("customer_data.csv")
df = ai_fillna(df, "city")

AI异常检测

# AI辅助异常值检测
def ai_detect_outliers(df, column):
    """用AI分析数据分布并检测异常值"""
    stats = {
        "mean": df[column].mean(),
        "std": df[column].std(),
        "min": df[column].min(),
        "max": df[column].max(),
        "q1": df[column].quantile(0.25),
        "q3": df[column].quantile(0.75)
    }
    
    response = client.chat.completions.create(
        model="gpt-4",
        messages=[
            {"role": "system", "content": "你是数据分析专家。根据统计信息判断异常值的阈值范围。返回JSON格式: {lower: x, upper: y, reason: ...}"},
            {"role": "user", "content": f"列: {column}\n统计: {stats}"}
        ],
        max_tokens=200
    )
    import json
    result = json.loads(response.choices[0].message.content)
    outliers = df[(df[column] < result["lower"]) | (df[column] > result["upper"])]
    return outliers, result

outliers, info = ai_detect_outliers(df, "age")
print(f"检测到{len(outliers)}个异常值: {info["reason"]}")

格式标准化

# AI辅助数据格式标准化
def ai_standardize(df, column, target_format):
    """用AI将数据标准化为目标格式"""
    unique_values = df[column].unique()[:20].tolist()
    response = client.chat.completions.create(
        model="gpt-4",
        messages=[
            {"role": "system", "content": "将每个值标准化为目标格式，返回JSON: {原值: 标准值}"},
            {"role": "user", "content": f"目标格式: {target_format}\n待处理值: {unique_values}"}
        ],
        max_tokens=500
    )
    import json
    mapping = json.loads(response.choices[0].message.content)
    df[column] = df[column].map(mapping).fillna(df[column])
    return df

df = ai_standardize(df, "phone", "11位手机号，格式：1XXXXXXXXXX")

小结

AI数据清洗适合处理非结构化数据和需要语义理解的场景（如地址标准化、分类标签统一）。对于数值型数据的异常检测，传统统计方法（Z-score、IQR）效率更高，AI可作为补充验证。

创意AI编程-功能类