决策树:树是怎么做划分的
MLU-Explain · Decision Trees · 亚马逊机器学习大学(MLU-Explain)
用「看树干直径和高度判断苹果树、樱桃树还是橡树」这个例子,一刀一刀把特征空间切开,同步长出一棵决策树,并把熵与信息增益算给你看。
交互实验(可直接投屏)
原作是一个完整的网页应用,下面直接嵌入;屏幕小或要投影时,点「全屏打开实验」更清楚。
动手三步
- 从「我们来建一棵决策树」往下滚,看四刀划分怎么一步步把三种树分开,右边的树同步长出来
- 滚到「熵的性质」,点「加一个」「去一个」改变气泡里正负类的比例,看熵怎么变(全同类时熵为 0,对半时熵最大)
- 滚到「信息增益」,左右拖动决策边界,看两个子节点的熵与总信息增益怎么变,找黑线的峰值
- 滚到最后,看只对 5% 训练样本加微小扰动后长出的 8 棵完全不同的树
课堂怎么用
- 先让学生自己在图上指「第一刀切哪里」并说理由,再拖动决策边界揭晓算法选出的切点,比谁更接近
- 用熵气泡讲「纯与不纯」:让两组学生分别凑出熵最大和熵为 0 的配比
- 用 8 棵扰动树收尾,提问「同一份数据只动 5%,树就变了,这样的模型能上生产吗」,引出随机森林
思考题
- 为什么类别比例越均匀,熵越大?熵为 0 意味着什么?
- 算信息增益时,为什么两个子节点的熵要按样本数加权,而不是直接平均?
- 一直切下去训练集能全判对,为什么反而不好?
已知限制
- 正文里指向本次未镜像主题的链接仍指向原作站点,课堂断网时点不开
- 数据是为讲解构造的合成数据,不代表真实林业数据
原作 MLU-Explain · Decision Trees(Jared Wilber、Lucía Santamaría(亚马逊机器学习大学),亚马逊机器学习大学(MLU-Explain)),CC BY-SA 4.0 (文) + MIT-0 (码) 许可(原文),界面已中文化。中文译文与改编内容采用 CC BY-SA 4.0,保留原作署名并注明改动。