用 XGBoost 在 Python 中进行特征重要性分析

要性的估计。

在本文中，您将发现如何使用Python中的XGBoost库来估计特征对于预测性建模问题的重要性，阅读这篇文章后，您将知道：

• 如何使用梯度提升算法计算特征重要性。
• 如何绘制由XGBoost模型计算的Python中的特征重要性。
• 如何使用XGBoost计算的特征重要性来执行特征选择。

梯度提升中的特征重要性

使用梯度增强的好处是，在构建增强后的树之后，检索每个属性的重要性得分相对简单。通常，重要性提供了一个分数，该分数指示每个特征在模型中构建增强决策树时的有用性或价值。用于决策树的关键决策使用的属性越多，其相对重要性就越高。

此重要性是针对数据集中的每个属性明确计算得出的，从而可以对属性进行排名并进行相互比较。单个决策树的重要性是通过每个属性拆分点提高性能指标的数量来计算的，并由节点负责的观察次数来加权。性能度量可以是用于选择拆分点的纯度(基尼系数)，也可以是其他更特定的误差函数。然后，将特征重要性在模型中所有决策树之间平均。有关如何在增强型决策树中计算特征重要性的更多技术信息，请参见《统计学习的要素：数据挖掘，推理和预测》(第367页)第10.13.1节“预测变量的相对重要性”。另外，请参见Matthew Drury对StackOverflow问题“ Boosting的相对变量重要性”的回答，在此他提供了非常详细和实用的答案。

手动绘制特征重要性

训练有素的XGBoost模型会自动计算出您的预测建模问题中的特征重要性。这些重要性分数可在训练模型的feature_importances_成员变量中获得。例如，可以按如下所示直接打印它们：

（编辑：开发网_开封站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!