求知
文章
文库
Lib
视频
iPerson
课程
认证
咨询
工具
讲座
Model Center
汽车系统工程
模型库
学习助手
会员
AI智能体开发技术实践
10月22-23日 线上
FDE(前沿部署工程师)实践指南
11月11-12日 北京+线上
OCSMP 认证培训
11月19-20日 北京+线上
FDE(前沿部署工程师)
L1 基础
一、 入门篇:什么是 FDE
▸
1.1 人工智能的发展历程
1.2 什么是 FDE
1.3.学习路线图
1.4 FDE 的三种类型
二、模型是怎么工作的
▸
2.1 Transformer 架构概述
2.2 Attention 机制深入
2.3 KV Cache 详解
2.4 FFN、Normalization 与位置编码
2.5 Decoding 策略-从采样到生成的完整指南
2.6 MoE 架构详解
2.7 MLA(Multi-Latent Attention)详解
2.8 多模态大模型
2.9 Thinking/Reasoning 模型-推理部署新范式
2.10 大语言模型训练流程
2.11 预训练与后训练
2.12 大模型微调实践
2.13 大模型 Scaling Law
L2 高阶
三、 GPU:理解推理的物理载体
▸
3.1 GPU 架构概览
3.2 GPU 显存模型
3.3 GPU 性能瓶颈分析
3.4 GPU 互联与多卡通信
四、 让推理变快:推理引擎与量化
▸
4.1 vLLM 深度解析
4.2 TensorRT-LLM 深度解析
4.3 SGLang 深度解析
4.4 模型量化基础
4.5 量化方案详解
4.6 KV Cache 量化
4.7 Speculative Decoding
4.8 FP8 推理
五、大模型怎么部署到多块 GPU 上
▸
5.1 张量并行(TP)
5.2 流水线并行(PP)
5.3 MoE 并行
L3 应用
六、用 LLM 构建应用
▸
6.1 提示词工程 — 掌握 AI 时代的"代码"
6.2 RAG 原理应用- 让大模型拥有"外挂知识库"
6.3 Agent 架构与实战-让大模型自主完成任务
6.4 AI评测入门指南,怎么知道你的AI系统好不好
七、生产环境部署架构
▸
7.1 Prefill-Decode分离部署-高吞吐推理新标准
7.2 弹性扩缩容
7.3 可观测性体系
7.4 容灾与降级
7.5 多租户与平台化
L4 实战
八、成本与运营
▸
8.1 成本优化策略
8.2 容量规划与弹性伸缩
8.3 自建 vs 云 API
九、动手实验
▸
9.1 实验:用 vLLM 部署 7B 模型
9.2 实验:量化部署工作流
9.3 实验:性能 Profiling 工作流
9.4 实验:连续批处理调优
9.5 实验:多卡 TP 部署
9.6 实验:OOM 排查演练
十、AI 驱动业务流程
▸
10.1 业务流程编排 — 让 AI 按规则办事
10.2 企业系统集成 — AI 与业务系统的桥梁
10.3 业务指标体系 — 让技术成果被看见
十一、合规与安全
▸
11.1 数据隐私 — AI 系统的隐私保护体系
11.2 审计与可解释性 — AI 决策的可追溯体系
11.3 Prompt 安全 — 防御注入攻击与内容风险
L5 面试
十二、面试答题方法
▸
12.1 面试答题框架
12.2 自我介绍模板
12.3 技术答题框架
12.4 项目故事(STAR 格式)
12.5 行为面试题
12.6 HR 面策略
12.7 面试前 Checklist
12.8 AI 系统设计面试题库
附录
十三、变更管理与组织采纳
▸
13.1 灰度上线策略 - 从试点到全量
13.2 ROI 度量框架 - 向 CEO 证明 AI 值得投资
十四、团队管理与建设
▸
14.1 团队文化
14.2 成长路径
14.3 培养机制
14.4 知识管理
十五、前沿技术参考
▸
15.1 前沿技术评估流程
十六、术语与资源
▸
16.1 术语表
16.2 案例研究
目录
FDE 术语表
来源:FDE学习中心 编辑:Alice(火龙果科技)
21 次浏览
面试中高频出现的专业术语,按领域分类
模型架构
术语
全称
解释
Transformer
-
基于 Self-Attention 的序列模型架构
Attention
Self-Attention
让每个 token 关注序列中其他 token 的机制
KV Cache
Key-Value Cache
缓存 Decode 阶段的 K 和 V 矩阵,避免重复计算
MHA
Multi-Head Attention
每个 head 有独立的 Q、K、V
GQA
Grouped Query Attention
多个 query head 共享一组 KV,减少显存
MQA
Multi-Query Attention
所有 query head 共享一组 KV
RoPE
Rotary Positional Embedding
通过旋转矩阵注入位置信息的位置编码
SwiGLU
Swish-Gated Linear Unit
现代模型使用的 FFN 激活函数
RMSNorm
Root Mean Square Normalization
轻量级 Normalization,只计算均方根
MoE
Mixture of Experts
每个 token 经过 Router 选择部分 Expert
MLA
Multi-Latent Attention
DeepSeek 使用的 Attention 变体
推理引擎
术语
全称
解释
vLLM
-
UC Berkeley 出品的开源推理引擎
PagedAttention
-
vLLM 核心创新,分页管理 KV Cache
Continuous Batching
-
动态调度 batch,不等最长请求完成
In-flight Batching
-
TRT-LLM 的更细粒度 batch 调度
TGI
Text Generation Inference
HuggingFace 出品的推理框架
SGLang
-
LMSYS 出品,擅长结构化生成
TensorRT-LLM
-
NVIDIA 官方推理优化框架
TTFT
Time To First Token
首 token 延迟
TPOT
Time Per Output Token
每 token 生成时间
Throughput
-
吞吐量,tokens/sec/GPU
量化
术语
全称
解释
PTQ
Post-Training Quantization
训练后量化,不需要重新训练
QAT
Quantization-Aware Training
量化感知训练
AWQ
Activation-aware Weight Quantization
保护大激活对应权重的量化方案
GPTQ
-
逐层量化,考虑层间误差累积
SmoothQuant
-
平滑激活和权重分布,便于同时量化
FP8
8-bit Floating Point
8-bit 浮点格式,H100 原生支持
INT8
8-bit Integer
8-bit 整数格式
INT4
4-bit Integer
4-bit 整数格式,极致压缩
GPU 与底层
术语
全称
解释
SM
Streaming Multiprocessor
GPU 基本执行单元
Tensor Core
-
矩阵乘法专用单元
CUDA Core
-
标量计算单元
HBM
High Bandwidth Memory
GPU 高带宽显存
NVLink
-
NVIDIA GPU 间高速互联,600 GB/s
TP
Tensor Parallel
张量并行,层内矩阵切分
PP
Pipeline Parallel
流水线并行,层间分配到不同 GPU
DP
Data Parallel
数据并行,请求分发到不同副本
MIG
Multi-Instance GPU
把一张 GPU 切分成多个独立实例
部署与运维
术语
全称
解释
SLO
Service Level Objective
服务等级目标
SRE
Site Reliability Engineering
站点可靠性工程
HPA
Horizontal Pod Autoscaler
K8s 水平扩缩容
Pod
-
K8s 最小部署单元
A/B Testing
-
两个版本对比测试
Canary
-
灰度发布,逐步放量
RAG
Retrieval-Augmented Generation
检索增强生成
Agent
-
能调用工具、自主规划的智能体
Speculative Decoding
投机解码
用小模型预测加速大模型生成
Flash Attention
-
高效 Attention 算法,减少显存访问
您可以捐助,支持我们的公益事业。
1元
10元
50元
认证码:
必填
21 次浏览
< 首页
< 下一页