首页 > TAG信息列表 > SHAP
SHAP值学习笔记
模型可解释之shap值 SHAP的名称来源于SHapley Additive exPlanation。Shapley value起源于合作博弈论。比如说甲乙丙丁四个工人一起打工，甲和乙完成了价值100元的工件，甲、乙、丙完成了价值120元的工件，乙、丙、丁完成了价值150元的工件，甲、丁完成了价值90元的工件，那么该如何公平、合Python机器学习 - 卡方检验, LabelEncoder, One-hot, xgboost, shap
一、统计学相关 1. crosstable # 计数 ct = pd.crosstab(label, feature, margins=True) # 比例 ct_prob = contingency_table.div(ct['All'], axis=0) 2. 卡方检验 # p-value scipy.stats.chi2_contingency(cross_table)[1] # chi^2 scipy.stats.chi2_contingency(cross_ta机器学习可解释性
20210508 - （随笔，后续有时间在对概念有了深入理解之后再进行整理） 0. 引言 今天不想写论文，就想起了之前关注的一个内容，机器学习的可解释性。在之前的时候，或多或少了解这个东西，发现他更多的是从特征的角度来解释，这个特征怎么影响了模型。但是我一直理解不了的就是，这个概念跟以往XGB模型可解释性SHAP包实战
可解释机器学习在这几年慢慢成为了机器学习的重要研究方向。作为数据科学家需要防止模型存在偏见，且帮助决策者理解如何正确地使用我们的模型。越是严苛的场景，越需要模型提供证明它们是如何运作且避免错误的证据 SHAP是Python开发的一个"模型解释"包，可以解释任何机器学习模summary plot 为每个样本绘制其每个特征的SHAP值
summary plot 为每个样本绘制其每个特征的SHAP值，这可以更好地理解整体模式，并允许发现预测异常值。每一行代表一个特征，横坐标为SHAP值。一个点代表一个样本，颜色表示特征值(红色高，蓝色低)。比如，这张图表明LSTAT特征较高的取值会降低预测的房价 # summarize the effects ofSHAP是Python开发的一个“模型解释“包
可解释机器学习在这几年慢慢成为了机器学习的重要研究方向。作为数据科学家需要防止模型存在偏见，且帮助决策者理解如何正确地使用我们的模型。越是严苛的场景，越需要模型提供证明它们是如何运作且避免错误的证据 关于模型解释性，除了线性模型和决策树这种天生就有很好解释在SHAP中进行模型解释需要先创建一个explaine
在SHAP中进行模型解释需要先创建一个explainer，SHAP支持很多类型的explainer(例如deep, gradient, kernel, linear, tree, sampling)，我们先以tree为例，因为它支持常用的XGB、LGB、CatBoost等树集成算法。 explainer = shap.TreeExplainer(model) shap_values = explai