返回 AI 资讯
技术社区掘金

不偷权重,只问问题:蒸馏攻击是怎么把前沿模型"问"走的,以及什么真能挡住

一、蒸馏的原罪:它搬走的不是知识,是"花掉的推理算力" 先把知识蒸馏(Knowledge Distillation, KD)的经典形式摆出来。原始的 KD 目标函数长这样: 关键在右半边。老师模型输出

内容摘要

一、蒸馏的原罪:它搬走的不是知识,是"花掉的推理算力" 先把知识蒸馏(Knowledge Distillation, KD)的经典形式摆出来。原始的 KD 目标函数长这样: 关键在右半边。老师模型输出

资讯来源

掘金

原文链接

打开原文