Chunk 太小 → 信息不完整，检索不到关键内容
Chunk 太大 → 引入噪声，浪费 Prompt token，LLM 注意力分散

经验值：
- 技术文档：500-800 tokens
- 对话记录：200-400 tokens
- 法律合同：300-600 tokens
- 代码文件：按函数/类切分

# 常用相似度算法
import numpy as np

def cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
    """余弦相似度 — 最常用，衡量方向差异"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

def dot_product(a: np.ndarray, b: np.ndarray) -> float:
    """点积 — OpenAI embedding 推荐"""
    return np.dot(a, b)

def euclidean_distance(a: np.ndarray, b: np.ndarray) -> float:
    """欧氏距离 — 衡量绝对距离"""
    return np.linalg.norm(a - b)

RRF(d) = Σ 1 / (k + rank(d))

其中 k = 60（经验值），rank(d) 是文档在某个检索结果中的排名

示例：
文档 A：向量检索排第 1，BM25 排第 5
RRF(A) = 1/(60+1) + 1/(60+5) = 0.0164 + 0.0154 = 0.0318

文档 B：向量检索排第 3，BM25 排第 2
RRF(B) = 1/(60+3) + 1/(60+2) = 0.0159 + 0.0161 = 0.0320

→ B 排前面

不加 Re-ranker：
  延迟：低（只走一次向量检索）
  准确率：中等
  适用：对延迟敏感的场景

加 Re-ranker：
  延迟：+50-200ms（需要额外推理）
  准确率：显著提升（MRR +10-30%）
  适用：对准确率要求高的场景

# 上下文压缩的三种方式

# 1. 句子级别过滤 — 只保留与问题相关的句子
def sentence_filter(sentences: list[str], query: str) -> list[str]:
    """用轻量模型给每个句子打分，保留高分句子"""
    ...

# 2. Token 级别压缩 — 去掉低信息量的 token
def token_compression(text: str, query: str) -> str:
    """用压缩模型去掉冗余信息，保留关键内容"""
    ...

# 3. 摘要式压缩 — 把长文本压缩为简短摘要
def summarization(text: str, max_tokens: int = 500) -> str:
    """用 LLM 对检索到的上下文做摘要"""
    ...

用户: "GPT-4 相比 GPT-3.5 在哪些 benchmark 上有显著提升？"

Step 1: 检索 "GPT-4 benchmark"
→ 得到 MMLU、GSM8K 等数据

Step 2: 模型判断信息不足，发起第二轮检索 "GPT-3.5 benchmark MMLU"
→ 得到 GPT-3.5 的对比数据

Step 3: 综合两轮检索结果生成回答

典型 RAG 请求的延迟分布：

组件              | P50    | P95    | P99
─────────────────|────────|────────|────────
Embedding 编码   | 10ms   | 25ms   | 50ms
向量检索 (Top-10)| 15ms   | 40ms   | 80ms
Re-ranker        | 50ms   | 120ms  | 200ms
Prompt 组装      | 5ms    | 10ms   | 15ms
LLM 推理         | 800ms  | 2000ms | 4000ms
─────────────────|────────|────────|────────
端到端            | 880ms  | 2195ms | 4345ms

LLM 推理占端到端延迟的 90%+，是优化重点。

RAGAS (RAG Assessment) 四大指标：

1. Faithfulness（忠实度）
   → 回答是否基于检索到的上下文？有无幻觉？
   → 测量：LLM 判断回答中的事实是否能在 context 中找到

2. Answer Relevance（回答相关性）
   → 回答是否切题？
   → 测量：LLM 判断回答是否直接回应了用户问题

3. Context Precision（上下文精确度）
   → 检索到的上下文中，有多少是真正有用的？
   → 测量：相关 chunk 数 / 总 chunk 数

4. Context Recall（上下文召回率）
   → 是否检索到了回答所需的全部信息？
   → 测量：基于 ground truth 答案反推需要的事实是否都被检索到

# 用 ragas 框架评估 RAG 系统
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevance, context_precision, context_recall

# 测试数据集
dataset = [
    {
        "question": "GPT-4 的 MMLU 得分是多少？",
        "answer": "GPT-4 的 MMLU 得分为 86.4%",
        "contexts": ["根据 OpenAI 技术报告，GPT-4 在 MMLU 上得分为 86.4%"],
        "ground_truth": "86.4%"
    },
    ...
]

results = evaluate(dataset, metrics=[
    faithfulness,
    answer_relevance,
    context_precision,
    context_recall
])

print(results)
# faithfulness: 0.92
# answer_relevance: 0.88
# context_precision: 0.85
# context_recall: 0.78

# 语义缓存示例
from sentence_transformers import SentenceTransformer
import numpy as np

model = SentenceTransformer("bge-large-zh-v1.5")

# 缓存结构：[(embedding, answer, question), ...]
cache = []

def query_cache(question: str, threshold: float = 0.95) -> str | None:
    q_emb = model.encode(question)
    for cached_emb, cached_answer, cached_question in cache:
        sim = np.dot(q_emb, cached_emb) / (np.linalg.norm(q_emb) * np.linalg.norm(cached_emb))
        if sim > threshold:
            return cached_answer
    return None