Python数据清洗中处理异常值的方法主要包括以下几种：基于统计的方法（如IQR和Z-score）、基于机器学习的方法（如Isolation Forest和DBSCAN）以及基于可视化分析的方法（如箱线图和直方图）。这些方法各有特点，适用于不同的数据分布和处理需求。

1. 基于统计的方法

（1）IQR方法

• 原理：计算数据的四分位数（Q1和Q3），计算四分位距（IQR = Q3 - Q1）。将异常值定义为小于 Q1 - 1.5IQR 或大于 Q3 + 1.5IQR 的数据点。
• 适用场景：适用于具有明显分布偏态的数据。
• 代码示例：
  python

  复制

  import numpy as np
  def detect_outliers_iqr(data):
      q1, q3 = np.percentile(data, [25, 75])
      iqr = q3 - q1
      lower_bound = q1 - 1.5 * iqr
      upper_bound = q3 + 1.5 * iqr
      return [x for x in data if x < lower_bound or x > upper_bound]
  

（2）Z-score方法

• 原理：基于数据的标准差和均值，计算每个数据点的标准分数（Z-score）。通常将 Z-score 的绝对值大于3的数据点视为异常值。
• 适用场景：适用于近似正态分布的数据。
• 代码示例：
  python

  复制

  def detect_outliers_z_score(data):
      mean = np.mean(data)
      std = np.std(data)
      threshold = 3
      return [x for x in data if np.abs((x - mean) / std) > threshold]
  

2. 基于机器学习的方法

（1）Isolation Forest

• 原理：通过随机分割数据点，构建隔离树，异常值更容易被单独隔离，从而检测出异常值。
• 适用场景：适用于高维数据，特别是当数据集较大时。
• 代码示例：
  python

  复制

  from sklearn.ensemble import IsolationForest
  iso_forest = IsolationForest(contamination=0.01)
  outliers = iso_forest.fit_predict(data)
  

（2）DBSCAN

• 原理：基于密度聚类算法，将低密度区域的数据点视为异常值。
• 适用场景：适用于具有任意形状的聚类结构的数据。
• 代码示例：
  python

  复制

  from sklearn.cluster import DBSCAN
  dbscan = DBSCAN(eps=0.5, min_samples=5)
  outliers = dbscan.fit_predict(data)
  

3. 基于可视化分析的方法

（1）箱线图

• 原理：通过观察箱线图中的“须”部分，超出上须或下须的数据点被视为异常值。
• 适用场景：适用于单变量或多变量的异常值检测。
• 代码示例：
  python

  复制

  import matplotlib.pyplot as plt
  plt.boxplot(data)
  plt.show()
  

（2）直方图

• 原理：通过观察数据分布的峰值和低谷，识别偏离整体分布的异常值。
• 适用场景：适用于检测符合正态分布的异常值。
• 代码示例：
  python

  复制

  plt.hist(data, bins=30)
  plt.show()
  

总结与提示

选择合适的方法处理异常值取决于数据的分布特点和处理目标。对于近似正态分布的数据，统计方法（如IQR和Z-score）较为有效；而对于高维或复杂结构的数据，机器学习方法（如Isolation Forest和DBSCAN）更为适用。可视化方法（如箱线图和直方图）可以帮助快速识别异常值，作为辅助手段使用。在实际应用中，建议结合多种方法综合判断，以提高异常值检测的准确性。