技术社区掘金
不偷权重,只问问题:蒸馏攻击是怎么把前沿模型"问"走的,以及什么真能挡住
一、蒸馏的原罪:它搬走的不是知识,是"花掉的推理算力" 先把知识蒸馏(Knowledge Distillation, KD)的经典形式摆出来。原始的 KD 目标函数长这样: 关键在右半边。老师模型输出
内容摘要
一、蒸馏的原罪:它搬走的不是知识,是"花掉的推理算力" 先把知识蒸馏(Knowledge Distillation, KD)的经典形式摆出来。原始的 KD 目标函数长这样: 关键在右半边。老师模型输出
资讯来源
掘金