AI 教学改革实践研究计划AI 教改实践研究计划 全国高等院校计算机基础教育研究会 ×实战云


AI 课件库 › 可信 AI › AI 伦理与治理

AI 盲点卡片:做 AI 项目前先自查的十一个盲区

AI Blindspot · 哈佛伯克曼·克莱因互联网与社会研究中心 Assembly 项目,2019

一套面向团队的 AI 项目自查卡片:按规划、构建、部署、监测四个阶段列出十一个最容易出事的盲区,每张卡给出检查清单、一个真实翻车案例、该找谁聊,以及可以继续读的材料。

适用
人工智能伦理、可信 AI、AI 项目管理与产品设计、软件工程实践、毕业设计选题指导
概念
目的对齐、数据代表性、可滥用性、隐私保护、优化目标、代理变量歧视、可解释性、泛化误差、数据漂移、申诉权、外部监督、反馈回路
课时
入门 · 建议 40 分钟
网络
离线可用(不依赖外网,需能打开本站)

全屏打开原作页 ↗ 原作源代码 ↗

原作页面(说明为主,供备课阅读)

这一件没有可操作的实验,下面嵌的是原作页面本身;屏幕小或要投影时,点「全屏打开原作页」更清楚。

这一套卡片怎么用

  1. 首页先看那张发现流程图:十一个盲区按规划、构建、部署、监测四个阶段排开
  2. 鼠标停在任意一张卡片上,卡片翻面给出这个盲区的一句话摘要;点进去看详情
  3. 详情页从上往下看四块:你想过这些吗、真实案例、该找谁聊、延伸材料
  4. 四个阶段各挑一张对照着看:规划看目的,构建看代理变量歧视,部署看泛化误差,监测看外部监督
  5. 首页可以下载 32 页的完整卡组,印出来当桌面工具

课堂怎么用

  • 当成项目评审清单用:让每个课程项目小组认领四五张卡片,对着检查清单逐条自查自己的选题
  • 案例驱动讨论:招聘算法对女性有偏见、皮肤癌检测只对浅肤色有效、癌症筛查只优化准确率,这三张最适合课堂辩论
  • 「优化目标」那张可以和评价指标一节连讲:准确率与召回率的取舍在这里不是数学题,是会伤到人的选择
  • 与 E-06、E-07 连读:那两件讲机制为什么会出偏差,这一件讲流程上该在哪几步拦住它
  • 最后一张空白模板留给学生自己写一张本专业的盲点卡,作为课程作业

思考题

  1. 数据里没有性别这一列,模型为什么还会歧视女性?哪些特征会变成性别的替身?
  2. 一个癌症筛查模型把准确率做到最高,为什么反而可能害人?你会换成什么指标?
  3. 模型上线时表现很好,半年后变差了,可能是世界变了还是模型坏了?你怎么发现?
  4. 如果算法拒绝了你的贷款申请,你希望对方提供什么,才算是一个说得过去的解释?

已知限制

  • 这是一套治理与流程自查工具,不是交互实验:没有可调参数、没有模型可跑,适合讨论课与项目评审,不适合上机课
  • 卡片正反面是英文实物卡的扫描图、首页的流程图也是英文图片,运行时换不了;正文与摘要已全部中文化
  • 案例与延伸材料是美国语境,译文按原作如实翻译、未改动作者观点,课堂上需要老师补一句国内对应(如个人信息保护法第 24 条的自动化决策条款)
  • 延伸材料的标题已译成中文,但链接仍指向原网址,课堂上多半打不开
  • 工作坊页的部分材料指向境外网盘,境内不可达;学员讲义是本地文件可用
  • 原作嵌的社交平台卡片已整块删除
  • 内容反映作者 2019 年的判断,不构成任何合规意见;具体做法以本校与本行业规定为准

原作 AI Blindspot(Ania Calderon、Dan Taber、Hong Qu、Jeff Wen,哈佛伯克曼·克莱因互联网与社会研究中心 Assembly 项目,2019),CC BY 4.0 许可(原文),界面已中文化。

← 用 JPEG 压缩防御攻击 图数据可视化 →

使用与数据说明 · 来源与许可