AI 教学改革实践研究计划AI 教改实践研究计划 全国高等院校计算机基础教育研究会 ×实战云


AI 课件库 › 可信 AI › 可解释性

SHAP 解释任意模型

WebSHAP · TheWebConf 2023

在浏览器里用 SHAP 给一次判断「拆账」:贷款被拒时,每个因素给结论加了多少分、扣了多少分。

适用
机器学习、AI 伦理与可信 AI、金融科技
概念
可解释性、SHAP、特征贡献
课时
进阶 · 建议 25 分钟
网络
离线可用

全屏打开实验 ↗ 原作源代码 ↗

交互实验(可直接投屏)

原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。

动手三步

  1. 点工具下方的「贷款审批预测」标签页(页面打开时可能停在「图像分类」),每次打开会随机抽一位申请人
  2. 在左边改一个数(建议把「贷款金额」改小),或换一个下拉项(建议把「还款期限」从 60 个月换成 36 个月),回车后看右上角的可能性和「批准 / 拒绝」怎么变
  3. 看右下角的条形图:蓝色向右是加分,粉色向左是扣分,条越长影响越大。加扣分是从「平均申请人」(本模型约 86%)算起的,所以 10 条全是扣分,结果也可能仍在 50% 的批准线以上

课堂怎么用

  • 用贷款被拒的案例讨论:申请人有权知道被拒的哪些理由(可结合个人信息保护法第二十四条)
  • 对比「贷款审批预测」和「图像分类」两个标签页:表格数据按特征分功劳,图片按区块分功劳
  • 指着「工作年限(8 年=是)」在扣分反问:工作 8 年会让人不还钱吗?说明 SHAP 讲的是模型怎么算,不是现实里什么导致违约
  • 「文本有害内容检测」标签页课堂不要打开,原因见已知限制

思考题

  1. 贡献最大的特征一定是「原因」吗?
  2. 10 个特征全在扣分,结论却是「批准」,这是怎么回事?

已知限制

  • 演示视频已隐藏
  • 「文本有害内容检测」标签页会随机抽取真实网络评论数据集里的句子,可能出现冒犯性英文语句,课堂演示请只用「贷款审批预测」和「图像分类」两个标签页
  • 文本模型只用英文训练,输入中文会被整句变成一个 [UNK] 并判成「0% 有害」,不能用来测中文
  • 特征是美国信贷口径(FICO 信用分、循环信贷余额、信用额度使用率、债务收入比),年收入与贷款金额的单位是美元,页面上没有标注;LendingClub 是美国的 P2P 网贷平台
  • 页面不显示基准值,输入框也不做校验(年收入填负数照样算);首次加载约 43 MB,请课前 10 分钟先打开

原作 WebSHAP(Zijie J. Wang, Duen Horng Chau(佐治亚理工 Polo Club),TheWebConf 2023),MIT 许可(原文),界面已中文化。

← 把模型问到底 AI 决策的改进建议 →

使用与数据说明 · 来源与许可