AI学习路径资料汇编

32 页指南 · 14 个阶段 · 144 条资源,全部附原始链接

为什么整理这份清单

《AI学习路径指南》是一份 32 页的中文问答打印稿:一位读者把”在 AI 领域做出成果要掌握什么、怎么发顶会、算力有限怎么办、怎么补数学、读哪些书”逐轮追问,最终攒出了一条从入门到发论文的完整路线。原文里提到的资料有上百处,散落在十四个主题里,找起来很费劲。

于是我把全稿逐页识别、把每处提到的资料抽成条目(工具、论文、报告、教材、习题集、课程都收),核对链接并尝试下载开放获取的 PDF,最后按指南原有的十四个阶段重新编排。整理结果同时做成了一个可搜索的网页索引——资料索引:支持按关键词、方向、阶段、获取方式筛选,144 条资料都能直接点开官方页面。完整汇编共 144 条资料:133 条已核验可访问、46 条开放获取、242 份 PDF 留档(32 份主库 + 210 份补充:MIT OCW 题单/讲义、剑桥 Tripos 题单与各类补档);本文按阶段挑出其中最重要的 100 余条,每条都附原始链接。它适合当”按阶段找资料”的索引,不适合当通读教程——想读观点与推导,请看原指南。

也提供 PDF 离线版(A4,含目录页号、PDF 书签与可点击链接):

主线:从入门到发论文

指南的主线可以压成八步:

  1. 打地基:数理统计直觉 + Python/Linux/Git 工程能力 + 经典机器学习与 PyTorch(S1-S3)。
  2. 选赛道:大模型算法、AI 应用、多模态具身、AI 基础设施、垂直行业五选一(S2)。
  3. 做实证:用真实训练/推理痛点写论文,配干净消融,用开源与实习撬算力(S4)。
  4. 低算力破局:五个单卡/双卡可做的课题,按饱和度挑蓝海切入点(S5)。
  5. 以研代学:最小技术栈 → 代码驱动读论文 → 30 天单卡 LoRA 闭环(S6)。
  6. 理论路线:擅长证明者走优化/RLHF/注意力/可信 AI 四个方向(S7-S8)。
  7. 补数学:按 5 道诊断题的结果,从 S9 理论教材、S10 基础教材、S11 开源版逐层补(S8-S12)。
  8. 上纯数:需要更硬的证明功底时,按 S13/S14 的纯数书单与题库训练。

分阶段资料清单

一、核心知识底座(原书 p1)

地基:数理统计直觉 + Python 生态 + PyTorch/Transformer。先跑通工具,再补数学直觉。

  • Python — 编程基石:核心语法、面向对象,AI 全部生态的语言底座
  • NumPy — 脱离 for 循环手写向量化矩阵运算与损失函数
  • PyTorch — 深度学习主框架:不依赖高层封装手写训练循环
  • Scikit-learn — 跑通分类/回归/聚类/交叉验证的经典机器学习基线
  • Hugging Face — 模型/数据集/镜像源生态,单卡跑通开源模型的入口
  • Attention Is All You Need — Transformer 与自注意力机制原始论文,现代生成式 AI 基石

二、主流细分方向(原书 p1-2)

五条赛道择一深耕:大模型算法、AI 应用与 Agent、多模态具身、AI 基础设施、AI+垂类。

  • PEFT — 参数高效微调:LoRA/QLoRA 显存友好微调
  • vLLM — 高吞吐推理引擎:评测加速、KV Cache 压缩实验平台
  • Megatron-LM — 分布式训练:TP/PP/EP 并行与大规模预训练工程
  • CUDA — GPU 计算平台;底层推理加速/算子开发的必备技能
  • Triton — Python 写 GPU 算子:融合算子实现真实吞吐提升
  • Isaac Sim — 机器人仿真平台,具身智能/Sim2Real 迁移
  • Qwen(Qwen2.5 / Qwen3) — 开源模型家族:单卡实验与多模型家族验证的首选基座
  • Llama(Llama-3) — 开源模型家族,多家族对比实验

三、渐进式学习路径(原书 p2-3)

指南给出的五步路径:1-2 个月打数理与 Python → 1-2 个月经典 ML/PyTorch → 2 个月 Transformer → 2-3 个月端到端项目 → 持续论文闭环。

顶会论文与高薪研发岗(原书 p3-5)

实证型研究 + 干净消融 + 开源/实习撬算力,十二到十八个月冲顶会与高薪岗。

低算力顶会课题(原书 p5-9)

只有 1-4 张卡也能做的五个课题:思维预算、RLVR 样本筛选、KV Cache 压缩、Agent 记忆、Activation Steering。

  • Teacher-Guided Curriculum for Data-Efficient RLVR — 低算力 RLVR 课程学习代表作(ACL Anthology),课题二的对标工作
  • vLLM — 高吞吐推理引擎:评测加速、KV Cache 压缩实验平台
  • SGLang — 推理加速框架,与 vLLM 并列用于采样加速与吞吐测试
  • Unsloth — 单卡微调加速,显存需求可降 60%
  • Triton — Python 写 GPU 算子:融合算子实现真实吞吐提升
  • Qwen(Qwen2.5 / Qwen3) — 开源模型家族:单卡实验与多模型家族验证的首选基座
  • MATH-500 — 推理模型评测基准,课题一/二的评测集
  • SWE-bench — 软件工程 Agent 评测(SWE-bench Lite)

以研代学 / 30 天计划(原书 p9-13)

以研代学:最小技术栈 + 代码驱动读论文,30 天跑通单卡 LoRA 微调闭环。

  • Let’s build GPT: from scratch, in code — Andrej Karpathy — 跟着视频用纯 PyTorch 手敲 Self-Attention/位置编码/自回归采样
  • nanoGPT — 跟随 Karpathy 从零拼装微型 GPT 的参考实现
  • PyTorch — 深度学习主框架:不依赖高层封装手写训练循环
  • Transformers(Hugging Face 库) — AutoModel/AutoTokenizer 三件套,提取中间层激活与注意力矩阵
  • PEFT — 参数高效微调:LoRA/QLoRA 显存友好微调
  • trl — SFTTrainer 与后训练工具链,30 天计划的 LoRA 实战
  • bitsandbytes — 4-bit/8-bit 量化加载,显存控制关键
  • SwanLab — 实验记录与可视化,从第一天起记录学习率/Loss

证明型选手的理论赛道(原书 p13-15)

擅长证明的人走理论赛道:优化动力学、RLHF 理论、注意力与 ICL、Conformal Prediction。

数学诊断题(原书 p15-18)

先做 5 道诊断题定位数学短板,再决定补哪本书;索引里直接挂钩的论文见下。

AI 理论推荐教材(原书 p18-20)

理论论文的四件武器:高维概率、矩阵分析/凸优化、信息论、现代讲义。教材当字典用。

数学基础教材(原书 p21-22)

证明功底四大支柱:线代、分析、概率、泛函;推进路线 Axler → Rudin/卓里奇 → Durrett → Kreyszig。

开放获取教材(原书 p22-24)

给 S10 书单的免费版:作者官网开放获取的 PDF,先读这些再决定要不要买书。

配套习题集(原书 p24-27)

只刷有官方解答的结构性证明,跳过技巧性计算;20 分钟卡壳就看答案前两行。

纯数学教材(原书 p27-29)

纯数学四分支 + 纯数背景切入 AI 顶会的映射表;资源最密集,按映射选一条线。

开源纯数学与题库(原书 p29-32)

开源纯数教材 + MIT OCW / 剑桥 Tripos / arXiv 讲义题库,练从零构造证明。

五个低算力课题与饱和度:一句话版

  • 课题一 思维预算:让推理模型”想够了就停”,单张 24GB 显卡,目标 NeurIPS / ICLR / ACL / EMNLP。
  • 课题二 RLVR 样本筛选:只用 10%-20% 核心数据达到全量 RL 效果,2-4 张 4090,目标 ICML / NeurIPS / ICLR。
  • 课题三 KV Cache 压缩:把长上下文缓存压到 15%-20% 还不掉点,1 张 24GB 卡、无需训练,目标 ICLR / NeurIPS / MLSys。
  • 课题四 Agent 记忆压缩:给长程工具调用做可回溯的结构化记忆,1-2 张 24GB 卡,目标 ACL / ICLR / NeurIPS。
  • 课题五 Activation Steering:不改权重、靠激活干预降幻觉,单张 24GB 卡,目标 NeurIPS / ICLR / EMNLP。

饱和度从高到低:KV Cache 压缩(★★★★★)> 思维预算(★★★★☆)> Activation Steering(★★★☆☆)≈ RLVR 样本筛选(★★★☆☆)> Agent 记忆(★★☆☆☆)。想最快出第一篇论文选课题四/五;想冲 Oral 与大厂后训练岗选课题一/二;课题三需要 CUDA/Triton 算子能力,慎入。

使用建议

  1. 先选赛道再囤资料。 S2 的五条赛道只能选一条主攻,其余当常识了解;资料多不等于学得快。
  2. 工具先行。 性价比最高的入口是 S6 的 30 天计划:PyTorch 训练循环 → 手写 Transformer → HuggingFace 推理 → LoRA 微调。
  3. 付费书先找开源版。 S11 里的书基本都是作者官网免费版;实在没有,再走学校图书馆或 Internet Archive。
  4. 做理论先做诊断题。 S8 的 5 道题做出 4-5 道可直接开读论文;做出 2-3 道补 Vershynin 前三章与 The Matrix Cookbook 即可。
  5. 低算力选题看饱和度。 避开静态 KV 驱逐、固定阈值早停这类红海做法,优先课题四/五的蓝海切入点。

关于这份清单

资源名、链接与阶段归属来自原指南逐页整理后的资源索引;抓取核验显示 133/144 条可访问,11 条因出版社反爬未抓到内容,但已用 Crossref/OpenLibrary/Wayback 补齐权威书目元数据(含 ISBN/DOI/年份)。所有链接均取自索引原始 URL,未做改写;开放获取条目已下载 242 份 PDF 留档(主库 32 份 + 补充 210 份,含 MIT OCW 题单/讲义 131 份与剑桥 Tripos 题单 72 份)。若链接随网站改版失效,优先按书名/作者搜索作者官网或机构页面。