AI 教学改革实践研究计划AI 教改实践研究计划 全国高等院校计算机基础教育研究会 ×实战云


AI 课件库 › 可信 AI › 可解释性

AI 决策的改进建议

GAM Coach · CHI 2023

贷款被模型拒绝了,怎么改才能通过?这件展品给出可操作的改进方案,并允许你设定哪些条件不能改。

适用
AI 伦理与可信 AI、金融科技、公共管理
概念
反事实解释、改进路径、可解释性
课时
进阶 · 建议 20 分钟
网络
离线可用

全屏打开实验 ↗ 原作源代码 ↗

交互实验(可直接投屏)

原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。

动手三步

  1. 看左边「你的申请被拒绝了」,再往下滚到「其他特征」,看清这位申请人的原始数据(金额单位是美元)
  2. 点顶部「方案 1」到「方案 5」,读「建议修改」里每个方案改了哪几项、各改多少,想想哪一条现实中做得到
  3. 点开「贷款金额」卡片,点卡片右上的笑脸,选最右边的锁形图标(表示不可能改变),再点页面右上的「重新生成」并在弹窗里确认,比较新方案有什么不同

课堂怎么用

  • 板书三件事:告诉我为什么被拒(说明理由)、告诉我怎么改(改进路径)、我不服要求人工复核。这件展品做的是中间那一件,别把它讲成「算法申诉」
  • 让学生找一条反常识的建议(比如「循环信贷余额加 3,965」,多欠钱反而能通过),讨论模型为什么这么建议、能不能照做
  • 可以结合个人信息保护法第二十四条:自动化决策对个人权益有重大影响时,个人有权要求说明
  • 课堂只用默认的「LENDING CLUB 贷款」,右侧其他数据集有敏感属性预设和大量英文,见已知限制

思考题

  1. 「为什么被拒」和「怎么改才能通过」是两个不同的问题,这件展品回答的是哪一个?
  2. 有些改进建议现实中根本做不到,模型为什么还会给出?

已知限制

  • 演示视频已隐藏
  • 默认以历史美国贷款数据演示。其他数据集用于研究模型偏差;镜像已将种族、性别、原国籍等受保护属性设为锁定(难度 6),不纳入新方案修改建议。收入普查预测年收入阈值,不能套用为真实贷款结论。
  • 特征是美国信贷口径(FICO 信用分、循环信贷余额、信用额度使用率、债务收入比),金额单位是美元,页面上没有标注
  • 难度菜单只有表情没有文字,最右边的锁形图标表示「不可能改变」;点「重新生成」弹出的确认框(Regenerate Plans)仍是英文,蓝色那个按钮就是确认
  • 「下载凭证」只是原研究提出的设想,不代表任何真实银行的承诺,课堂不需要点
  • 国家或地区取值来自原始历史数据,保留原字段以便复核,不表示本站的行政区划分类;不得据此推断现实人群或用于实际决策。

原作 GAM Coach(Zijie J. Wang, Jennifer Wortman Vaughan, Rich Caruana, Duen Horng Chau(佐治亚理工与微软研究院),CHI 2023),MIT 许可(原文),界面已中文化。

← SHAP 解释任意模型 决策树森林探索 →

使用与数据说明 · 来源与许可