深度学习导论 ¶

课程学习内容 ¶

这门课程在 25-26 春夏学期第一次开设。前十二周为考试范围的正式课程内容，最后四周为前沿内容讲座，考试不考察相应内容。

25-26 春夏前十二周课程大纲如下：

第 1 周：导论
第 2-3 周：机器学习基础
第 4-5 周：神经网络基础
第 6-7 周：深度视觉模型
第 8 周：表征学习
第 9 周：生成式模型
第 10 周：语言模型
第 11 周：大语言模型架构与训练
第 12 周：检索增强生成

先修要求 ¶

可以零基础；上过人工智能引论或许会有一些帮助，但不多。很多时候 AID 讲过的在这门课里会再讲一遍。

任课教师 ¶

周晟 / 毛玉仁 / 王文冠宛袁玉 / 王皓波

25-26 春夏前十二周的课程大概是毛玉仁老师和王文冠老师每人各上了一半，周晟老师是课程组的主要负责人，但是只上了前沿讲座部分的一节课。王文冠老师讲课比较风趣，干货不少。相比之下毛老师的风格可能略微浮夸。不过两位老师人都不错，都很愿意与同学们交流。

课程教材 ¶

暂无。

分数构成 ¶

周晟 / 毛玉仁 / 王文冠宛袁玉 / 王皓波

导论课上展示的分数构成如下：

5 次点名（2*5=10）

25-26 春夏实际似乎没有 5 次点名，并且实际的几次“点名”都采取随机抽几个人回答问题的形式，缺勤的同学具体有没有算入平时分不得而知。
5 次作业（8*5=40）

25-26 春夏实际有 6 个 lab，内容分别为：
- Lab1：线性模型、Softmax 与两层 MLP
- Lab2：卷积与反向传播
- Lab3：从 NumPy 卷积到 PyTorch 流水线、U-Net 与 3D 卷积
- Lab4：生成模型（VAE、GAN 与 Diffusion）
- Lab5：注意力机制与 Transformer
- Lab6：minGPT-2
其中 lab1-5 在 CPU 上训练问题不大，lab6 建议使用 CUDA 训练，CPU 上可能需要数小时。

lab 形式都是在 Jupyter Notebook 中填空并运行，大致包含理论公式推导、代码实现、可视化、结果分析。需要提交保留完整输出的 ipynb 文件。实际评分标准比较迷惑，据说除了完整跑通之外还需要参考代码运行结果的质量等。这门课程后续的实验形式可能有较大修改，这里仅供参考。
考试（50）

选择（20*2）+ 大题（4*15）

参考资源 ¶

学习建议 ¶

这门课平时作业风格和人工智能引论类似，只有 6 个 Lab，且不查 AI，跟期末考试内容关系也不大。所以实际上大部分同学可能都是 AI 一把梭。不过 Lab 内容至少也算是理论课部分内容的具体实现，且 26 年期末考试的最后一道计算题也是实验当中涉及的，所以如果认真手搓了实验的话，也是会有一定收获的。

期末考试依然是背 PPT 为主，部分选择题考得还是比较细的。