特征缩放****（Feature Scaling） 是一种将数据的不同变量或特征的方位进行标准化的方法。
在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲（数量级）的纯数值，便于不同单位或量级的指标能够进行比较和加权。
特征缩放的好处： 参考：标准化的好处及常见处理方法
提升模型的收敛速度
2.提升模型的精度
3.深度学习中数据归一化可以防止模型梯度爆炸。
需要特征缩放的模型： 参考：哪些机器学习模型需要归一化
概率模型（树形模型）不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、RF（随机森林）、朴素贝叶斯、XGBoost、lightGBM、GBDT
而像Adaboost、SVM（支持向量机）、LR（线性回归、逻辑回归）、KNN、KMeans、神经网络（DNN、CNN和RNN）、LSTM之类的最优化问题就需要归一化
特征缩放的方法： 常用的特征缩放的方法有归一化、标准化、正态化等。参考：2(1).数据预处理方法
选择建议：
参考：标准化和归一化什么区别？ 和 机器学习 | 数据缩放与转换方法（1）
1.特征是正态分布的，使用z-score标准化
2.特征不是正态分布的，可以尝试使用正态化 （幂变换 ）
3.特征是正态分布的，如果有离群值 ，可以使用RobustScaler；没有离群值且是稀疏数据，可以使用归一化（如果数据标准差很小，min-max归一化会比z-score标准化好）
4.先划分训练集和测试集，然后再使用相同的标准化公式 对训练集和测试集进行特征缩放
参考：数据的标准化 和 数据预处理（一）：标准化，中心化，正态化
1.归一化（scaler） 1.min-max归一化 也叫离差标准化，是对原始数据的线性变换 ，将数据统一映射到**[0,1]区间**上，转换函数如下：
其中max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。
min-max归一化的特点：
缩放到0和1之间
目的是使各个特征维度对目标函数的影响权重是一致的
不改变其数据分布 的一种线性特征变换
min-max归一化的适用场景：
如果对输出结果范围有要求，用归一化
如果数据较为稳定，不存在极端的最大最小值，用归一化
1 2 3 4 5 6 7 8 9 10 11 12 13 14 from sklearn.preprocessing import MinMaxScaler transfer = MinMaxScaler(feature_range=[0, 1]) # 范围可改变，若不写，默认为0-1 data_minmax = transfer.fit_transform(train_data[["SalePrice"]]) print(data_minmax) [[0.24107763] [0.20358284] [0.26190807] ... [0.321622 ] [0.14890293] [0.15636717]]
图片转自：https://www.zhihu.com/people/sun_shuai _
2.MaxAbs归一化 最大值绝对值标准化(MaxAbs)即根据最大值的绝对值进行标准化，假设原转换的数据为x，新数据为x’，那么x’=x/|max|，其中max为x所在列的最大值
MaxAbs归一化的特点：
MaxAbs方法跟Max-Min用法类似，也是将数据落入一定区间，但该方法的数据区间为[-1,1]
不改变其数据分布 的一种线性特征变换
MaxAbs归一化的适用场景：
MaxAbs也具有不破坏原有数据分布结构的特点，因此也可以用于稀疏数据、稀疏的CSR或CSC矩阵。
1 2 3 4 5 6 from sklearn.preprocessing import MaxAbsScaler transfer = MaxAbsScaler() data_minmax = transfer.fit_transform(train_data[["SalePrice"]]) print(data_minmax)
图片转自：https://www.zhihu.com/people/sun_shuai _
2.标准化（standardization ） 1.z-score 也叫标准差标准化 ，经过处理的数据符合均值为0，标准差为1 ，其转化函数为：
其中μ为所有样本数据的均值，σ为所有样本数据的标准差。
z-score标准化的特点：
假设数据是正态分布 将数值范围缩放到0附近，数据变成均值为0，标准差为1 的正态分布
不改变原始数据的分布
z-score标准化 的适用场景：
这种标准化方法适合大多数类型的数据，也是很多工具的默认标准化方法。如果对数据无从下手可以直接使用标准化；
如果数据存在异常值和较多噪音，用标准化，可以间接通过中心化避免异常值和极端值的影响
需要使用距离来度量相似性的时候：比如k近邻、kmeans聚类、感知机和SVM，或者使用PCA降维的时候，标准化表现更好
Z-Score方法是一种中心化方法，会改变稀疏数据的结构，不适合用于对稀疏数据做处理。（稀疏数据是指绝大部分的数据都是0，仅有少部分数据为1）。在很多时候，数据集会存在稀疏性特征，表现为标准差小 。并有很多元素的值为0.最常见的稀疏数据集是用来做协同过滤的数据集，绝大部分的数据都是0，仅有少部分数据为1。对稀疏数据做标准化，不能采用中心化的方式 ，否则会破坏稀疏数据的结构。参考：Python数据标准化
可以使用sklearn的StandardScaler函数对特征进行z-score标准化，注意fit_transform函数的输入需要时2D array
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 from sklearn.preprocessing import StandardScaler # z-score标准化 transfer = StandardScaler() data_standard=transfer.fit_transform(train_data[["SalePrice"]]) print(data_standard) [[ 0.34727322] [ 0.00728832] [ 0.53615372] ... [ 1.07761115] [-0.48852299] [-0.42084081]] # 描述性统计 print(pd.DataFrame(data_standard).describe()) count 1.460000e+03 mean 1.362685e-16 std 1.000343e+00 min -1.838704e+00 25% -6.415162e-01 50% -2.256643e-01 75% 4.165294e-01 max 7.228819e+00
可以看到使用z-score标准化后的数据，均值接近0，标准差接近1
2.RobustScaler RobustScaler 的适用场景：
某种情况下，假如数据集中有离群点，我们可以使用Z-Score进行标准化，但是标准化之后的数据并不理想，因为异常点的特征往往在标准化之后便容易失去离群特征。此时可以使用RobustScaler针对离群点做标准化处理，该方法对数据中心化和数据的缩放健壮性有更强的参数控制能力。
如果要最大限度保留数据集中的异常，使用RobustScaler方法。
如果数据集包含较多的异常值，可以使用RobustScaler方法 进行处理，它可以对数据集的中心和范围进行更具有鲁棒性的评估，如下
1 2 3 4 5 6 7 8 9 10 11 12 13 14 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from scipy.stats import norm from sklearn.preprocessing import RobustScaler # Robust transfer = RobustScaler() data_robust = transfer.fit_transform(train_data[["SalePrice"]]) sns.distplot(pd.DataFrame(data_robust), fit=norm) print(pd.DataFrame(data_robust).describe()) plt.show()
常用的幂变换包括：对数变换，box-cox变换，指数变换等，属于非线性变换
PowerTransformer 目前提供两个这样的幂变换,
全文 >>
