[일:] 2023년 09월 25일

Posted in X-Review

[NeurIPS 2021] Does Knowledge Distillation Really Work?

이번에 리뷰할 논문은 지난 리뷰와 마찬가지로 knowledge distillation에 관한 분석 논문입니다. Knowledge distillation이란 teacher의 예측값을 student의 정답 값으로 사용하여 크기가 작은 모델인 student의 capacity를 증진시키는…

Continue Reading