AI 教学改革实践研究计划AI 教改实践研究计划 全国高等院校计算机基础教育研究会 ×实战云


AI 课件库 › 可信 AI › 可解释性

把模型问到底

What-If Tool · IEEE VIS 2019 / TVCG

选中一条数据,改一个字段,按一下运行推理,模型的判断当场就变。再把数据按某个特征切成几组,看模型在哪一组上错得更多,然后试着调阈值把它拉平。

适用
机器学习、可信 AI 与人工智能伦理、算法公平性专题、数据科学项目实训
概念
模型探查、反事实、部分依赖图、分类阈值、混淆矩阵、ROC 曲线、代价比、分组分析、公平性约束
课时
进阶 · 建议 40 分钟
网络
离线可用(不依赖外网,需能打开本站;模型推理全在浏览器本地完成)

全屏打开实验 ↗ 原作源代码 ↗

交互实验(可直接投屏)

原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。

动手三步

  1. 先进鸢尾花演示:点中散点里任意一个点,左边出现它的四个测量值和三个品种的推理得分
  2. 把花瓣长度从 5.1 改成 1.2,点运行推理:结果直接从一个品种翻成另一个,图里那个点当场换色
  3. 再进收入分类演示(两个模型同台),改一下年龄再推理,看两个模型的得分各自涨了多少
  4. 打开「最近反事实点」:工具会找出与它最像、但结果相反的那条数据,标出两者不同的字段
  5. 切到部分依赖图:只动一个特征、其余不变,看模型得分随这个特征怎么走
  6. 切到表现与公平性页,拖动阈值滑块看混淆矩阵四格此消彼长;再按分组比较各组的准确率与假正例率

课堂怎么用

  • 第一节课只用鸢尾花:改一个花瓣长度就能把品种判断翻过来,学生立刻理解模型是一个对输入敏感的函数
  • 反事实是讲可解释性最省力的入口:让学生自己找到「改哪一个字段最容易让结论翻转」
  • 阈值与代价比适合做课堂辩论:医学早筛该宁可误报,人脸开锁该宁可漏报,让学生先定代价比再点优化
  • 三种公平性口径点下去给出三套不同阈值,正是「公平没有唯一定义」的现场证据
  • 接 E-05 几率均等与 E-06 模型怎么学会歧视:那两件给定义,这件让学生自己动手调

思考题

  1. 只把一条数据的年龄改大几岁,模型的判断就变了,这说明模型学到了什么?
  2. 把分类阈值从 0.5 调到 0.25,混淆矩阵的四个格子各自怎么变?什么场景下你愿意这样调?
  3. 三种公平性口径给出的阈值都不一样。如果你是这个系统的负责人,你选哪一个?这是技术问题还是价值判断?

已知限制

  • 内置数据集只保留两份:鸢尾花(150 行,无敏感字段)与美国人口普查收入预测(16,281 行)。原作另带的真人人脸、再犯风险、以及与收入重复的年龄回归三份数据与对应演示页均未收录,首页入口也已移除
  • 保留的收入数据集含种族、性别、原国籍三个受保护属性。数据来历:美国 1994 年人口普查抽样,1996 年公开,至今是机器学习教学与公平性研究的经典教材数据
  • 这些字段正是本工具的教学内容本身,它演示的是如何发现模型在不同分组上的表现差异。课堂讨论请统一收在「数据里的偏差从哪来、怎么被发现、怎么修正」这条线上;本工具不提供、本课也不做任何人群之间的比较,相关结论不得外推到现实人群
  • 被探查的数据一律不翻译:字段名、字段取值以及工具自动派生的字段都保持英文原样,它们既是数据本身,也被界面当作键使用
  • 组件初始化时会打印几条控制台报错,原作自带,不影响显示与交互
  • 所有推理由浏览器本地完成,不联网;但收入演示同时加载两个模型,低配机器首屏需要十几秒
  • 界面按宽屏设计,投影建议 1366×768 及以上,手机上不可用
  • 国家或地区字段保留原始历史数据取值,供偏差分析与复核,不表示本站的行政区划分类。

原作 What-If Tool(James Wexler、Mahima Pushkarna、Tolga Bolukbasi、Martin Wattenberg、Fernanda Viégas、Jimbo Wilson(Google PAIR),IEEE VIS 2019 / TVCG),Apache-2.0 许可(原文),界面已中文化。

← GAN 实验室 SHAP 解释任意模型 →

使用与数据说明 · 来源与许可