特征工程
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上 限而已。根据特征使用方案，有计划地获取、处理和监控数据和特征的工作称之为特征工程,目的是 最大限度地从原始数据中提取特征以供算法和模型使用。
根据特征选择的形式又可以将特征选择方法分为3种：
用 sklearn 中的 feature_selection 库来进行特征选择
Filter：
过滤法：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的 个数，选择特征。
Wrapper：
包装法：根据目标函数（通常是预测效果评分），每次选择若干特征，或者排 除若干特征。
Embedded：
嵌入法：先使用某些机器学习的算法和模型进行训练，得到各个特征的权值 系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优 劣。
采用iris数据集，iris数据集有四个特征
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
Filter过滤法
方差选择法 VarianceThreshold
使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。
from sklearn import datasets iris = datasets.load_iris() from sklearn.feature_selection import VarianceThreshold #方差选择法，返回值为特征选择后的数据 #参数threshold为方差的阈值 vardata = VarianceThreshold(threshold=3).fit_transform(iris.data) print(vardata[:10]) 输出 第三个特征 petal length
相关系数法 SelectKBest
使用相关系数法，先要计算各个特征对目标值的相关系数。用 feature_selection 库的 SelectKBest 类 结合相关系数来选择特征
from sklearn.feature_selection import SelectKBest from scipy.stats import pearsonr import numpy as np #选择K个最好的特征，返回选择特征后的数据 #第一个参数为计算评估特征是否好的函数，该函数输入特征矩阵和目标向量， #输出二元组（评分，P值）的数组，数组第i项为第i个特征的评分和P值。 #在此定义为计算相关系数 f = lambda X, Y:np.array(list(map(lambda x:pearsonr(x, Y)[0], X.T))).T #参数k为选择的特征个数 SelectKBest(f,k=2).fit_transform(iris.data, iris.target)[:10] 输出 第三和第四个特征 petal length petal width
卡方检验
卡方分布
卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，如果卡方值越大，二者偏差程度越大；反之，二者偏差越小；若两个值完全相等时，卡方值就为0，表明理论值完全符合。
经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值，因变量有M种 取值，考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量：
from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 #选择K个最好的特征，返回选择特征后的数据 SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)[:10] 输出 第三和第四个特征 petal length petal width
互信息法
经典的互信息也是评价定性自变量对定性因变量的相关性的。相关系数，卡方检验，互信息法选择 特征的原理是相似的，但相关系数通常只适合于连续特征的选择。
import numpy as np from sklearn.feature_selection import SelectKBest from sklearn import metrics mic = metrics.mutual_info_score g = lambda X, Y: np.array(list(map(lambda x:mic(x, Y), X.T))).T #选择K个最好的特征，返回特征选择后的数据 SelectKBest(g, k=2).fit_transform(iris.data, iris.target)[:10] 输出 第三和第四个特征 petal length petal width
Wrapper包装法
递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基 于新的特征集进行下一轮训练。
递归特征消除法 (RFE:recursive feature elimination)
from sklearn.feature_selection import RFE from sklearn.linear_model import LogisticRegression #递归特征消除法，返回特征选择后的数据 #参数estimator为基模型 #参数n_features_ to_select为选择的特征个数 RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)[:10] 输出： 第二和第四个特征 sepal width petal width
Embedded嵌入法
基于惩罚项的特征选择法
使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维。使用 feature_selection 库的 SelectFromModel 类结合带 L1 惩罚项的逻辑回归模型，
from sklearn.feature_selection import SelectFromModel from sklearn.linear_model import LogisticRegression #带L1惩罚项的逻辑回归作为基模型的特征选择 SelectFromModel(LogisticRegression( penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)[:10] 输出 第一，第二和第三个特征 sepal length ,sepal width ,petal length
基于树模型的特征选择法
树模型中GBDT也可用来作为基模型进行特征选择，使用 feature_selection 库的 SelectFromModel 类 结合 GBDT 模型，来选择特征的代码如下：
from sklearn.feature_selection import SelectFromModel from sklearn.ensemble import GradientBoostingClassifier #GBDT作为基模型的特征选择 SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)[:10] 输出 第三和第四个特征 petal length petal width
-END-
最后，祝有所学习，有所成长
转发，好看支持一下，感谢