🔖Representational learning

Madaan, Divyam, et al. "Representational continuity for unsupervised continual learning." arXiv preprint arXiv:2110.06976 (2021). ICLR2022code available论文通过严谨的实验观察到无监督表征比监督表征对灾难性遗忘更加健壮。微调任务的顺序可以使得效果超过sota的持续学习模型。通过CKA分析可以得到UCL与SCL在低级层的学习表征大致相同，但是在高级层的学习表征有很大不同，这可能导致了对灾难性遗忘抵御效果的差异。Contributions*1.at