distillation

"在LLM蒸馏中，发现了一种现象，即教师模型的行为特征通过语义上无关的数据传播给学生模型。论文将其命名为“潜藏学习（Subliminal Learning）”。"

"我们的结果表明，字节级别是跨分词器知识传输的天然共同基础，同时也强调在所有任务和基准测试中实现一致的改进仍然难以实现，这突显了跨分词器蒸馏仍然是一个悬而未决的问题。"

"31B击败了400B。参数量仅为约十三分之一的模型，在几乎所有基准测试中都取得了领先。"

"该论文提出了一种方法，将智能体的对话保存在以“记忆宫殿”为模型的架构中。简单来说，它从对话历史中生成结构化索引，并对其进行查询。"

"OpenAI、Anthropic、谷歌正通过前沿模型论坛（FMF）共享信息……联手侦测并遏制‘对抗性蒸馏’行为。"

"由OpenAI、Anthropic、谷歌牵头的全球AI联盟，目标直指模型蒸馏行为，并计划通过技术水印、请求风控、行为溯源等手段，全面封堵针对自家头部模型的蒸馏提取。"

"此功能仅在第一方 CLI 会话中启用。"

"X-OPD 显著缩小了复杂任务中的差距，同时保留了模型固有的能力。"

"苹果可以在其自己的数据中心完全访问 Gemini 模型，并且可以使用蒸馏来生成更小的模型。"

"主要的指令仅仅是：“让它更强”。"

"我们介绍了\method{}，这是一个蒸馏框架，它通过在冻结的教师隐藏状态上训练轻量级探针，并使用探针的预测（而不是输出logits）作为学生的训练监督，从而绕过了这个瓶颈。"

"Anthropic 公开披露了 DeepSeek、Moonshot AI 和 MiniMax 三家公司进行的“产业规模模型蒸馏攻击”。"

"我构建了一个将神经网络转化为可读数学公式的工具 - SDHCE"

"Qwen3-0.6B — 是的，0.6B — 达到98.7%，而Gemini Flash为92.0%。"

"下一代人工智能需要的不是更强的蒸馏，而是增加一个酿造过程。"

"在公开视频中，李开复认为Anthropic针对模型蒸馏的指控有“小题大做”之嫌。"

"重点正从“保护模型”转移到“如何防止能力提取”。"

"本文的目标：将上述3篇文章的设计理论转化为“可运行的Python模拟”。"

"攻击的“性质”不是入侵，而是滥用合法功能。"

"这是一种常规且公认的提升模型能力的方法。"

"在各种基准测试中的大量实验表明，DSKD 显著增强了解码器的知识蒸馏性能，使生成式模型能够在保持高效训练的同时继承结构化语义。"

"在这里为 LS 付费订阅者分享。"

"2015年，Geoffrey Hinton——后来因其作为“深度学习之父”的作用而被授予2024年诺贝尔物理学奖——以及谷歌的Jeff Dean等人发表了一篇论文，正式介绍了“知识蒸馏”的概念。"

"这恰好完全违背了他们的意愿和 TOS。 我说：提炼 Baby Distill！"

"合成数据可以说是当今人工智能研究人员用来日常改进模型的最有用的方法。"

"讽刺的是，他们在这里选择了审查制度和独裁角度。"

"Anthropic 表示，这些公司创建了 24,000 个虚假账户来隐藏这些行为。"

"Anthropic 周一指控三家领先的中国前沿人工智能模型开发商使用大规模蒸馏，通过使用 Anthropic 的 Claude 功能来改进他们自己的模型。"

"Anthropic 声称，中国人工智能公司 DeepSeek、MiniMax 和 Moonshot 一直在广泛滥用其大型语言模型 (LLM) Claude 来增强其产品，将其定义为“工业规模的滥用”。"

"Anthropic 表示，这些实验室“针对了 Claude 最具差异化的能力：智能体推理、工具使用和编码。”"