动手三步

1. 选「实训项目 很 难懂 但是 非常 实用」，逐词点「读下一个词」，看判断曲线和记忆格子
2. 点「前后半句对调」，对比两个模型的判断
3. 拖动「记忆传得越远越淡」的滑块，看 20 个词之后开头的信息还剩多少（这是单独的示意参数，和本页模型的真实权重无关）

课堂怎么用

• 先让学生当人肉 RNN：只准一个词一个词地看，边看边说判断
• 词袋模型在不带「不」的简单句上其实全判对，一碰到「不」就全错、转折句接近瞎猜，说明语言理解离不开顺序
• 从记忆衰减引出 LSTM 与 Transformer

思考题

1. 读到「不」时判断几乎没变，网络真的没反应吗？
2. 为什么参数量不随句子变长而增加？
3. 一篇 500 字的文章，最开头的词还能影响结尾吗？
4. 拼「这门课 太 难懂」和「这门课 不 太 难懂」，两句只差一个「不」，网络的判断差多少？

已知限制

• 模型只认识 18 个词、只会本页的句式，是教学用的小模型
• 句式一超出训练语法（比如「不 很 清楚」）就可能判错，这时页面会直说这一步判错了，可以当成课堂讨论的材料