[일:] 2025년 04월 07일

Posted in News Paper X-Review

[2022 NIPS] On the Representation Collapse of Sparse Mixture of Experts

 정 의철  04/07/2025  [2022 NIPS] On the Representation Collapse of Sparse Mixture of Experts에 댓글 8개

안녕하세요 이번에 소개해드릴 논문도 Mixture of Experts(MoE) 분야와 관련된 연구입니다. 최근 MoE의 내용을 정리하면서, 이 구성 요소 중 라우팅(router)가 핵심적인 역할을 한다는 점을 파악하게 되었습니다….

Continue Reading
Posted in Conference X-Review

[CVPR 2020] End-to-End Learning of Visual Representations from Uncurated Instructional Videos

 홍 주영  04/07/2025  [CVPR 2020] End-to-End Learning of Visual Representations from Uncurated Instructional Videos에 댓글 1개

오늘은 다소 예전 논문을 가져왔습니다. 최근 Video-Text Retrieval 중심으로 서베이를 진행중인데요, 해당 태스크에서 Loss로 많이 사용하는 MIL-NCE (Multiple Instance Learning and Noise Contrastive Estimation)를 제안한…

Continue Reading