AI 教学改革实践研究计划AI 教改实践研究计划 全国高等院校计算机基础教育研究会 ×实战云


AI 课件库 › 可信 AI › 可解释性

决策树森林探索

TimberTrek · IEEE VIS 2022

准确率差不多的决策树有上千棵。用美国再犯风险数据浏览它们,把用了「性别」的筛掉,看还剩多少棵同样准确。

适用
机器学习(学过决策树之后)、AI 伦理与可信 AI;本科拓展,建议由老师演示
概念
决策树、罗生门集合、模型选择
课时
研究 · 建议 15 分钟
网络
离线可用

全屏打开实验 ↗ 原作源代码 ↗

交互实验(可直接投屏)

原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。

动手三步

  1. 旭日图从内到外每一圈是一层判断条件,最内圈是第一次判断。从圆心走到外圈的灰色扇区是一条判断路径,点灰色扇区会弹出一棵完整的决策树,括号里是它的准确率
  2. 点右上「搜索」,把「准确率」滑块左端往右拖(全部树只落在 0.638 到 0.671 之间),看左下角「x / 1422 棵树」变少;再展开「特征」,取消勾选「性别 = 女」,看还剩多少棵同样准确的树根本不用性别
  3. 打开两三棵树的窗口,点窗口右上角的爱心收藏,对照它们第一层判断用的是哪个特征

课堂怎么用

  • 先讲数据背景再展示:这是美国佛罗里达州一个县的司法记录,COMPAS 是当地法院用过的再犯风险评估算法,2016 年被媒体调查指出对不同种族的错判率差异很大,此后成为算法公平讨论的经典案例;本工具用的是这批公开记录训练出的决策树,不是 COMPAS 算法本身
  • 讨论「准确率一样的模型,该选哪个」:可解释、公平、符合常识。讨论落在「该不该用性别对一个人做判断」,不要引到「谁更容易犯罪」
  • 点出全部树的准确率只有 64% 到 67%(大约三次错一次),再问:这样的准确率够不够用来决定一个人要不要被关押
  • 非计算机专业只演示「取消性别后还剩多少棵同样准确的树」这一个动作即可,其余细节用截图

思考题

  1. 旭日图上一条彩色路径,就是一棵决策树吗?
  2. 两棵准确率相同的树,一棵用了性别特征,一棵没用,你选哪棵?只要不用性别,模型就一定公平吗?

已知限制

  • 演示视频已隐藏
  • 默认数据集是美国 COMPAS 再犯风险记录,特征里带「性别」,请先讲背景再投屏,讨论边界见「课堂怎么用」
  • 点开的决策树窗口里,特征名仍是英文且会被截断(Prior crime 前科次数、Age 年龄、Juv 未成年犯罪),true / false 表示是 / 否,叶子上的「+」表示模型判定两年内会再犯、「-」表示不会
  • 底部另外两个数据集「FICO 信用」「汽车评估」的特征名全是英文,课堂建议只用「COMPAS 再犯」
  • 准确率滑块要精确按住左端的小三角才拖得动,灰色叶子扇区也很细、不容易点中;手机上旭日图会被裁切,不能跟做

原作 TimberTrek(Zijie J. Wang, Chudi Zhong, Rui Xin 等(佐治亚理工与杜克大学),IEEE VIS 2022),MIT 许可(原文),界面已中文化。

← AI 决策的改进建议 多边形的故事:一点点偏见如何造出隔离的社会 →

使用与数据说明 · 来源与许可