偏差方差权衡
MLU-Explain · The Bias Variance Tradeoff · 亚马逊机器学习大学(MLU-Explain)
从一条画歪的直线到把训练点全背下来的复杂模型,把测试误差拆成偏差平方、方差和噪声三块,再用两个滑块把这个权衡拧给你看。
交互实验(可直接投屏)
原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。
动手三步
- 从头滚到「复杂度太高与过拟合」,看训练误差降到 0 而测试误差反而变高
- 看误差分解那几节:同一复杂度下多次拟合叠在一起,下方柱状图把每个点的误差拆成偏差与方差
- 看汇总出的 U 形曲线,左端偏差主导、右端方差主导
- 玩平滑回归:先点几次「随机换一批训练数据」体会方差,再拖平滑度体会偏差
- 玩 K 近邻:把 K 从 1 拖到很大,看决策区域从锯齿孤岛变成大片平滑
课堂怎么用
- 用「训练误差为 0 的模型」当反面教材,先让学生判断好坏再揭晓测试误差
- 「随机换一批训练数据」连点五次,让学生盯住曲线抖动幅度,这就是方差的可视定义
- K 近邻用 K=1 与 K 很大两个极端对照,讲清高方差和高偏差各长什么样;可与 A-03 K 近邻连讲
思考题
- 训练误差为零为什么不等于模型好?
- 误差里的「噪声」项为什么再怎么调模型也减不掉?
- K 近邻的 K 从 1 调大,决策边界为什么越来越平滑?K 大到极端会发生什么?
已知限制
- 正文里指向本次未镜像主题的链接仍指向原作站点,课堂断网时点不开
- 全部为合成数据演示,曲线形状是为讲解调过的
原作 MLU-Explain · The Bias Variance Tradeoff(Jared Wilber、Brent Werness(亚马逊机器学习大学),亚马逊机器学习大学(MLU-Explain)),CC BY-SA 4.0 (文) + MIT-0 (码) 许可(原文),界面已中文化。中文译文与改编内容采用 CC BY-SA 4.0,保留原作署名并注明改动。