英文原版-永久语言知识蒸馏.pdfVIP

英文文献学习素材 声明：素材来源于互联网公共免费领域，由上传者搜集、整理、编译，旨在帮助科 研领域人士扩展学习途径，丰富科研素材。 中文摘要 永久语言知识蒸馏 在没有任何性能降低的情况下，在一系列不同任务上进行终身语言 学习 （LLL）是具有挑战性的。为了解决这个问题，我们提出了终身语 言知识蒸馏 （L2KD），这是一种简单而有效的方法，可以轻松应用于 现有的 LLL 架构，以减轻降级。具体来说，当 LLL 模型训练新任务时， 我们会指派一个教师模型来先学习新任务，并通过知识蒸馏将知识传 递给LLL 模型。因此，LLL 模型可以更好地适应新任务，同时保留先前 学到的知识。实验表明，所提出的L2KD 始终改善了先前的最新模型， 并且与LLL 任务中的多任务模型相比，序列生成和文本分类任务的降 级得到了很好的缓解。 models. The target unit for considering the errors Algorithm 1 L2KD: Lifelong Language Knowl- can be done in the word level or the sequence level. edge Distillation Input: current task dataset , teacher model with param- Word-Level (Word-KD) We minimize the eters , knowledge distillation loss function KD , pseudo- cross-entropy between the output distributions data sample rate . from student and teacher models when predicting Output: LLL model parameters . Optimize teacher model on to get parameters . the next word: Sample pseudo-data from to form prev . for all training samples do Word-KD for to do update to minimize KD end for Sample samples prev from prev for to do update to minimize NLL prev