把它想成师傅带徒弟
- 师傅做示范、给答案或打分。
- 示范被整理成教材。
- 徒弟反复练习。
- 最后用没见过的新题考试。
边界:学生只在指定任务上学习教师信号。教师没有把“整个大脑”交出去。
10个案例讲明白蒸馏是怎么回事。看懂教师、学生、教材和考试,也看清“原版 Prompt”究竟真在哪里。
不是把大模型压成 ZIP,而是“老师示范、教材整理、学生练习、用新题考试”。
边界:学生只在指定任务上学习教师信号。教师没有把“整个大脑”交出去。
事实:蒸馏通常是在能力、速度、成本和体积之间取舍。[S04][S09–S12]
教师提供信号,学生吸收信号,教材承载信号,考试证明学生不是背题。
从标签到概率,再到内部表示和理由,教师可以给出不同深度的学习信号。
图片里是一只猫,答题卡只写“猫”。信息清楚,但不知道别的选项有多像。
猫 70%、狐狸 25%、汽车 0.1%。次高选项也藏着教师对世界的判断。[S09]
Logits 是归一化成概率前的原始分数。低温像老师斩钉截铁;高温像老师把几个可能选项都摊开。Temperature 不创造新知识,只改变信号的呈现方式。
Loss 是学生离目标还有多远。像射箭:箭离靶心越远,Loss 越大;训练不断调整参数,让下一箭更接近。
合成数据只是教材。只有继续训练 Student 并独立评测,才构成完整蒸馏闭环。
SFT 训练集、Preference 数据集、Student Model、LoRA / Adapter、Reward Model、专项分类器或 Detector。
每个案例都回答:输入是什么、教师给了什么、学生学什么、结果怎样。Prompt 只展示已核验原文。
Hinton、Vinyals、Dean|Soft Targets [S09]
小白类比:老师不只说“选 A”,还告诉学生 A、B、C 各有多像正确答案。
论文报告 MNIST 结果,并将商业语音系统的 ensemble 知识蒸馏到单模型;本书不补写摘要未给出的样本概率。
Sequence-Level Knowledge Distillation [S10]
小白类比:学生不再只看每个词的局部提示,而是学习老师写出的一整句译文。
论文摘要称最佳学生比当时教师快 10 倍,性能损失很小。这是论文结果,不是通用保证。
公开数据集原始 row|Apache-2.0 [S17]
为什么数学题常见:答案明确、难度可分级,还能用公式或验证器筛选。数据卡描述 220k 道题,Hugging Face 元数据列出 225,129 条样本,每题含 2–4 条 DeepSeek-R1 reasoning traces。
Please reason step by step, and put your final answer within \boxed{}.
请逐步推理,并将最终答案放在 \boxed{} 中。
OpenR1-Math-220k dataset card。作者公开的精确前置指令。https://huggingface.co/datasets/open-r1/OpenR1-Math-220k
两条 generation 最终都写出 10 和 4,但
correctness_math_verify 是
[true, false]。看起来一样,仍需验证器筛选。
OpenAI 官方 Cookbook|MIT [S05]
小白类比:先让资深侍酒师回答一批酒评,再把审核后的答案教给成本更低的助手。
You're a sommelier expert and you know everything about wine. You answer precisely with the name of the variety/blend.
你是一名侍酒师专家,对葡萄酒了如指掌。请只准确回答葡萄品种或混酿名称。
Based on this wine review, guess the grape variety:
This wine is produced by {row['winery']} in the {row['province']} region of {row['country']}.
It was grown in {row['region_1']}. It is described as: "{row['description']}".
The wine has been reviewed by {row['taster_name']} and received {row['points']} points.
The price is {row['price']}.
Here is a list of possible grape varieties to choose from: {variety_list}.
What is the likely grape variety? Answer only with the grape variety name or blend from the list.
请根据下面这条葡萄酒评价,猜测葡萄品种:
这款酒由 {row['winery']} 酒庄生产,位于 {row['country']} 的 {row['province']} 地区。
葡萄种植于 {row['region_1']}。描述为:“{row['description']}”。
评价者是 {row['taster_name']},评分为 {row['points']} 分。
价格为 {row['price']}。
请从以下候选葡萄品种中选择:{variety_list}。
最可能是什么葡萄品种?只回答列表中的葡萄品种名或混酿名。
OpenAI Cookbook notebook。英文框分别保留原 System message 与 Python f-string body;没有把两个来源字符串拼成一条 Prompt。未复制具体酒评原文,也不补写未收录的 Teacher 输出。
预训练阶段蒸馏 [S11]
小白类比:老师不写长答案,而是让学生对齐自己的判断分布和“脑内笔记”。
论文摘要报告:体积减少 40%,保留 97% 语言理解能力,速度提升 60%。仅代表该论文实验。
Transformer 多层信号蒸馏 [S12]
小白类比:学生先学通识课,再学考试专项;不仅对答案,还对齐老师的课堂笔记。
论文摘要报告:达到教师 BERTBASE 在 GLUE 上超过 96.8% 的表现,同时体积小 7.5 倍、推理快 9.4 倍。
Google Research|Rationale Distillation [S13][S14]
小白类比:老师不仅给标签,还写一句“为什么”。学生一边学答案,一边学理由。
Loss = alpha × label_prediction_loss + (1 - alpha) ×
rationale_generation_loss
官方代码与原始公开数据 [S15][S16]
小白类比:先给模型几道样题,让它继续出新题、写输入和答案。过滤后,再用这些三元组训练学生。
{
"instruction": "Explain why the following fraction is equivalent to 1/4",
"input": "4/16",
"output": "The fraction 4/16 is equivalent to 1/4 because both numerators and denominators are divisible by 4. Dividing both the top and bottom numbers by 4 yields the fraction 1/4."
}
{
"instruction": "解释为什么下面这个分数等于 1/4",
"input": "4/16",
"output": "4/16 等于 1/4,因为分子和分母都可以被 4 整除。把分子和分母同时除以 4,就得到 1/4。"
}
Stanford Alpaca 原始 teacher-generated 数学样本,text-davinci-003 生成,CC BY-NC 4.0。Self-Instruct 前缀原文为 “Come up with a series of tasks:”。
边界提醒:Self-Instruct 首先是数据合成与自训练,不等同于经典 Teacher–Student KD。合成教材随后训练 Student 并在新题上评测,才构成这里所说的广义蒸馏流程。
Self-Instruct 作者警告:抽样 200 条中可能有 46% 存在问题。“自动生成”不等于“自动可靠”。
Microsoft Foundry 官方 MIT Demo [S06]
小白类比:新人不只听师傅说什么,还观察师傅先查订单、再查物流、最后提交结果。
I want to return my order {oid} — the {item} doesn't fit
My order {oid} arrived damaged. The {item} has a cracked screen. Can I get a refund?
我想退掉订单 {oid}——{item} 不合身。
订单 {oid} 到货时已损坏。{item} 的屏幕裂了,可以退款吗?
完整 20 条模板中的两条逐字节选。Microsoft Foundry / TracesDistillation / fixtures/push_prompts.py,MIT。
取证边界:以下生产 traces、Teacher tool-call 与结构化训练材料来自 Microsoft demo README 的流程说明。本项目只核验 README 与公开 fixtures,未取得私有生产 traces,也没有把 fixtures 冒充生产日志。
该 demo 的 held-out(训练时没见过)结构测试报告:Student 从 60% 提升到 100%,每 token(每个文本单位)成本约低 10 倍。不是所有 Agent 的通用结论。
官方披露、片段与 synthetic seed 必须分开 [S01][S02][S03]
先说结论:没有找到 Anthropic 所称 1,600 万次交互的原始 Prompt 泄露。Anthropic 只公开一条明确标为“近似类似 Prompt”的示例。这三类证据互不相连,不能拼成同一次真实蒸馏任务。
You are an expert data analyst combining statistical rigor with deep domain knowledge. Your goal is to deliver data-driven insights — not summaries or visualizations — grounded in real data and supported by complete and transparent reasoning.
你是一名专家级数据分析师,兼具严谨的统计能力与深厚的领域知识。你的目标是提供由真实数据支撑、推理完整透明的数据洞察,而不是摘要或可视化。
Anthropic 官方披露。原文说 “approximates similar prompts”,所以不能称为 DeepSeek 原版 Prompt 或 1,600 万条中的某一条。
"... language used in the thinking content must be strictly consistent with the main language of the user input."
“……思考内容所使用的语言,必须与用户输入的主要语言严格一致。”
省略号来自 Google 公告,前文未公开,不得自行补齐。Google 表示该 campaign 超过 100,000 prompts。
{
"prompt": "Solve this differential equation: dy/dx = 2x + 3y. Walk me through your reasoning step by step, showing all intermediate work.",
"subcategory": "reasoning_trace_extraction",
"complexity": "high",
"domain": "mathematics",
"language": "en"
}
解这个微分方程:dy/dx = 2x + 3y。请一步一步说明你的推理,并展示所有中间过程。
Validia-AI / Distillery,第三方 GPL-3.0 synthetic seed。README 明确说明 generated synthetic data,不是真实攻击流量。
一次训练可能同时属于微调与蒸馏,但数据合成、量化和剪枝各自解决不同问题。
“模型更小”不是成功。能力、效率、稳定、安全和权利边界都要一起看。
三个假成功:训练集高分、只挑漂亮案例、只报模型更小。
未改写,不代表它一定是攻击日志;它可能是官方近似示例、官方片段、synthetic seed 或公开数据行。
始终追踪:输入从哪里来 → Teacher 给了什么 → 教材怎样形成 → Student 是谁 → 新题考得怎样 → 是否获得授权。
第一次看到术语时,不必记公式。先记住它在“老师带学生”的故事里扮演什么角色。
Knowledge Distillation:让 Student 学习 Teacher 提供的知识信号。
Hard Label:只给最终类别或标准答案。
Soft Label:Teacher 对多个候选给出的概率分布。
Logits:归一化成概率前的原始分数。
Temperature:调整分布尖锐或平缓的参数。
Loss:当前输出与目标之间的可计算差距。
Rationale:公开生成的理由,不等于完整内部思维。
Response Distillation:用 Teacher 最终回答训练 Student。
Tool-use Trace:任务、调用、返回和最终答复的记录。
Model Extraction:通过查询或观察目标模型复制其功能。
因为它用 Teacher 信号重新训练 Student,不是打包 Teacher 权重。
Teacher 提供信号;Student 学能力;教材承载输入与信号;考试用未见数据检查。
Hard Label 只给答案;Soft Label 还给多个候选的相对概率。
它可能直接读取 Teacher 概率或内部表示。
还要清洗、训练 Student,并独立评测。
答案通常明确、难度可分级,也容易用验证器筛选。
最终数字一样不代表两条推理都通过验证。
仓库明确声明它们是 generated synthetic data。
Anthropic 明确写的是 approximates similar prompts。
还要检查能力、效率、稳定、安全、权利和未见测试集。
完整抓取时间、license、SHA-256 与取证范围记录在 data/sources.json。