模型是怎么工作的

汽车系统工程

会员

	知识图谱、本体论、RAG与大模型
	8月29-30日北京+线上

	企业架构方法与实践
	8月27-28日深圳+线上

	AI智能体开发技术实践
	9月17-18日厦门+线上

L1 基础

一、入门篇：什么是 FDE

1. 人工智能的发展历程

2. 什么是 FDE

3. 学习路线图

4. FDE 的三种类型

5. 模型是怎么工作的

5.1 Transformer 架构概述

5.2 Attention 机制深入

5.3 KV Cache 详解

5.4 FFN、Normalization 与位置编码

5.5 Decoding 策略-从采样到生成的完整指南

5.6 MoE 架构详解

5.7 MLA（Multi-Latent Attention）详解

5.8 多模态大模型

5.9 Thinking/Reasoning 模型-推理部署新范式

5.10 大语言模型训练流程

5.11 预训练与后训练

模型是怎么工作的

来源：FDE学习中心编辑：Alice（火龙果科技）

48 次浏览	1次

理解大模型内部的计算机制，是所有推理优化的基础。

模块概览

这个模块深入讲解 LLM 的核心工作原理。FDE 不需要手推数学公式，但必须理解每个组件的计算特征，才能回答诸如"为什么长上下文延迟会飙升"、"GQA 对显存有什么影响"这类问题。

学习路径

顺序	文档	核心内容	面试考点
1	Transformer 架构概述	Decoder-only 设计、Prefill/Decode 两阶段	推理两阶段区别、KV Cache 显存估算
2	Attention 机制深入	MHA、GQA、MQA、Flash Attention	GQA vs MHA 的区别和部署影响
3	KV Cache 详解	KV Cache 原理、显存计算、优化策略	为什么 KV Cache 占显存 60-80%
4	FFN、归一化与位置编码	SwiGLU、RMSNorm、RoPE	为什么用 RoPE 不用绝对位置编码
5	解码策略	Greedy、Top-k、Top-p、Beam Search	如何平衡生成质量和多样性
6	MoE 架构	混合专家模型原理和部署挑战	MoE 模型的显存和吞吐特点
7	MLA 深度解析	多头潜在注意力（DeepSeek 使用）	MLA vs MHA 的区别
8	多模态模型	视觉+文本的架构设计	多模态模型的推理延迟特点
9	思维链模型	o1 等推理模型的思维链机制	推理模型 vs 普通模型的差异
10	LLM 预训练	从 0 训练一个 LLM 的流程	预训练的关键步骤
11	预训练 vs 后训练	SFT、RLHF、DPO 等方法	对齐技术的原理
12	LLM 微调	LoRA、QLoRA 等微调方法	LoRA 的显存和效果特点
13	Scaling Law	Chinchilla 等规模法则	如何选择模型大小和训练数据量

前置知识

建议先完成 L1 入门：什么是 FDE 了解岗位定位和学习路径。

48 次浏览	1次