SHAP 解释任意模型
WebSHAP · TheWebConf 2023
在浏览器里用 SHAP 给一次判断「拆账」:贷款被拒时,每个因素给结论加了多少分、扣了多少分。
交互实验(可直接投屏)
原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。
动手三步
- 点工具下方的「贷款审批预测」标签页(页面打开时可能停在「图像分类」),每次打开会随机抽一位申请人
- 在左边改一个数(建议把「贷款金额」改小),或换一个下拉项(建议把「还款期限」从 60 个月换成 36 个月),回车后看右上角的可能性和「批准 / 拒绝」怎么变
- 看右下角的条形图:蓝色向右是加分,粉色向左是扣分,条越长影响越大。加扣分是从「平均申请人」(本模型约 86%)算起的,所以 10 条全是扣分,结果也可能仍在 50% 的批准线以上
课堂怎么用
- 用贷款被拒的案例讨论:申请人有权知道被拒的哪些理由(可结合个人信息保护法第二十四条)
- 对比「贷款审批预测」和「图像分类」两个标签页:表格数据按特征分功劳,图片按区块分功劳
- 指着「工作年限(8 年=是)」在扣分反问:工作 8 年会让人不还钱吗?说明 SHAP 讲的是模型怎么算,不是现实里什么导致违约
- 「文本有害内容检测」标签页课堂不要打开,原因见已知限制
思考题
- 贡献最大的特征一定是「原因」吗?
- 10 个特征全在扣分,结论却是「批准」,这是怎么回事?
已知限制
- 演示视频已隐藏
- 「文本有害内容检测」标签页会随机抽取真实网络评论数据集里的句子,可能出现冒犯性英文语句,课堂演示请只用「贷款审批预测」和「图像分类」两个标签页
- 文本模型只用英文训练,输入中文会被整句变成一个 [UNK] 并判成「0% 有害」,不能用来测中文
- 特征是美国信贷口径(FICO 信用分、循环信贷余额、信用额度使用率、债务收入比),年收入与贷款金额的单位是美元,页面上没有标注;LendingClub 是美国的 P2P 网贷平台
- 页面不显示基准值,输入框也不做校验(年收入填负数照样算);首次加载约 43 MB,请课前 10 分钟先打开
原作 WebSHAP(Zijie J. Wang, Duen Horng Chau(佐治亚理工 Polo Club),TheWebConf 2023),MIT 许可(原文),界面已中文化。