AI 盲点卡片:做 AI 项目前先自查的十一个盲区
AI Blindspot · 哈佛伯克曼·克莱因互联网与社会研究中心 Assembly 项目,2019
一套面向团队的 AI 项目自查卡片:按规划、构建、部署、监测四个阶段列出十一个最容易出事的盲区,每张卡给出检查清单、一个真实翻车案例、该找谁聊,以及可以继续读的材料。
原作页面(说明为主,供备课阅读)
这一件没有可操作的实验,下面嵌的是原作页面本身;屏幕小或要投影时,点「全屏打开原作页」更清楚。
这一套卡片怎么用
- 首页先看那张发现流程图:十一个盲区按规划、构建、部署、监测四个阶段排开
- 鼠标停在任意一张卡片上,卡片翻面给出这个盲区的一句话摘要;点进去看详情
- 详情页从上往下看四块:你想过这些吗、真实案例、该找谁聊、延伸材料
- 四个阶段各挑一张对照着看:规划看目的,构建看代理变量歧视,部署看泛化误差,监测看外部监督
- 首页可以下载 32 页的完整卡组,印出来当桌面工具
课堂怎么用
- 当成项目评审清单用:让每个课程项目小组认领四五张卡片,对着检查清单逐条自查自己的选题
- 案例驱动讨论:招聘算法对女性有偏见、皮肤癌检测只对浅肤色有效、癌症筛查只优化准确率,这三张最适合课堂辩论
- 「优化目标」那张可以和评价指标一节连讲:准确率与召回率的取舍在这里不是数学题,是会伤到人的选择
- 与 E-06、E-07 连读:那两件讲机制为什么会出偏差,这一件讲流程上该在哪几步拦住它
- 最后一张空白模板留给学生自己写一张本专业的盲点卡,作为课程作业
思考题
- 数据里没有性别这一列,模型为什么还会歧视女性?哪些特征会变成性别的替身?
- 一个癌症筛查模型把准确率做到最高,为什么反而可能害人?你会换成什么指标?
- 模型上线时表现很好,半年后变差了,可能是世界变了还是模型坏了?你怎么发现?
- 如果算法拒绝了你的贷款申请,你希望对方提供什么,才算是一个说得过去的解释?
已知限制
- 这是一套治理与流程自查工具,不是交互实验:没有可调参数、没有模型可跑,适合讨论课与项目评审,不适合上机课
- 卡片正反面是英文实物卡的扫描图、首页的流程图也是英文图片,运行时换不了;正文与摘要已全部中文化
- 案例与延伸材料是美国语境,译文按原作如实翻译、未改动作者观点,课堂上需要老师补一句国内对应(如个人信息保护法第 24 条的自动化决策条款)
- 延伸材料的标题已译成中文,但链接仍指向原网址,课堂上多半打不开
- 工作坊页的部分材料指向境外网盘,境内不可达;学员讲义是本地文件可用
- 原作嵌的社交平台卡片已整块删除
- 内容反映作者 2019 年的判断,不构成任何合规意见;具体做法以本校与本行业规定为准
原作 AI Blindspot(Ania Calderon、Dan Taber、Hong Qu、Jeff Wen,哈佛伯克曼·克莱因互联网与社会研究中心 Assembly 项目,2019),CC BY 4.0 许可(原文),界面已中文化。