🔖Continual Learning

Shi, Guangyuan, et al. "Overcoming catastrophic forgetting in incremental few-shot learning by finding flat minima." Advances in neural information processing systems 34 (2021): 6747-6761.code available论文关注Continual Learning中的Few-shot问题，发现对于few-shot问题，一个简单的基类训练的基线模型优于最先进的方法，这证明了灾难性遗忘的严重性。论文提出了一种寻找到基

Madaan, Divyam, et al. "Representational continuity for unsupervised continual learning." arXiv preprint arXiv:2110.06976 (2021). ICLR2022code available论文通过严谨的实验观察到无监督表征比监督表征对灾难性遗忘更加健壮。微调任务的顺序可以使得效果超过sota的持续学习模型。通过CKA分析可以得到UCL与SCL在低级层的学习表征大致相同，但是在高级层的学习表征有很大不同，这可能导致了对灾难性遗忘抵御效果的差异。Contributions*1.at

Kim, Sanghwan, et al. "Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.code available_论文中提到有多种方式定义持续学习的问题，分为3类，任务增量学习（TIL）、领域增量学习（DIL）和类增量学习（CIL）。在TIL中，模型被告知需要解决的任

Chrysakis, Aristotelis, and Marie-Francine Moens. "Online bias correction for task-free continual learning." ICLR 2023 at OpenReview (2023).code not available_论文阐述了传统的无任务的持续学习训练范式高估了当前流观测的重要性，造成了持续学习的预测偏差。因此提出了一个新的度量以量化预测偏差，阐明通过适当修改模型最后一层的参数，可以有效地减轻这种偏差。同时设计了OBC以维持无任务持续学习的无偏训练。论文的相关工作中提到了__持续学习是从非平稳

Kim, Chris Dongjoo, et al. "Continual learning on noisy data streams via self-purified replay." Proceedings of the IEEE/CVF international conference on computer vision. 2021.code availablerelated papers这篇论文是关于持续学习和噪声标签数据学习的。噪声标签数据会加剧灾难性遗忘。该论文提出的SPR通过自中心过滤器将delayed buffer中的数据处理成puried buffer。然后基于P和D来