Author: 이 상인
[ICCV 2023] Dynamic Token Pruning in Plain Vision Transformers for Semantic Segmentation
안녕하세요. 이번 논문은 Segmentation 태스크에서 Token Pruning을 수행한 연구로, MLLM은 아니지만 현재 제가 연구하고 있는 분야가 MLLM을 활용한 Segmentation에서의 Token Pruning이기에 “Token Pruning이 Segmentation에 적용될…
2025년 상반기 회고
안녕하세요. 비밀번호를 바꾼 후 잊어버려 수 십번의 시도 이후 이제서야 글을 쓸 수 있게 되었습니다. 최근 신인택 연구원님께서 저의 24년도 회고글에 댓글을 달아주신 덕에 다시…
[arXiv 2025] [CLS] Attention is All You Need for Training-Free Visual Token Pruning: Make VLM Inference Faster
안녕하세요. 이번 리뷰도 Token Pruning에 관한 논문입니다. 아직 어느 학회/저널에 Accept된 것으로 보이진 않지만, 21회의 Citation 수를 보입니다. 논문 제목도 찾아보면 Revised 버전에 따라 다르게…
[COLING 2025] Less is More: A Simple yet Effective Token Reduction Method for Efficient Multi-modal LLMs
안녕하세요. 이번 리뷰는 최근 연구 및 실험 중인 MLLM (LMM) Token Reduction에 관한 논문입니다. 요즘 “MLLM의 VG/Segmentation에서 Token Reduction 시 성능 및 효율성을 고려하는 방법”에…
ICRA 2025 참관 후기
안녕하세요. 지난 일주일 (19-23) 간, 미국 애틀랜타의 ICRA 2025 학회를 참관하고 느낀 점을 연구원 분들과 공유드리고자 합니다. 우리가 흔히들 말하는 CVPR/ICCV 등 주요 학회의 논문은…
[arXiv 2025.02] Token Pruning in Multimodal Large Language Models: Are We Solving the Right Problem?
안녕하세요. 이번에는 MLLM의 Token Pruning에 대한 분석을 담은 논문을 들고 왔습니다. 본 논문을 읽게 된 계기가 참 긴데, 현재 제가 진행 중인 실험과 연관되어 있습니다….
LLaVA-Grounding: Grounded Visual Chat with Large Multimodal Model
Introduction GPT-4, LLaMA의 LMM (MLLM) 시대 이후 사용자의 지시문이나 입력 이미지에 대한 Visual Chat 능력이 중요시 되고 있습니다. 하지만 이들은 이미지 전반적인 이해력은 높지만 특정…
[COLING 2025] Less is More: A Simple yet Effective Token Reduction Method for Efficient Multi-modal LLMs
안녕하세요. 제가 이번에 리뷰할 논문은 이전 리뷰인 두 PuMer, LLaVA-PruMerge을 읽고 이해하셨다면 저자의 새로운 기여는 하나 밖에 없습니다 (대부분은 이전 리뷰에서 차용해온 방식을 그대로 사용했습니다)….
[arXiv 2024] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models
안녕하세요. 이번 리뷰는 세미나에서 소개드린 LLaVA-PruMerge입니다. 세미나에서 방법론에 대해 자세히 다루지는 않았는데, 좋은 기회일 것 같습니다. 그럼 바로 시작해보겠습니다. Introduction 놀라울만한 LLM의 성능에 이은 LMM…
[ACL 2023] PuMer: Pruning and Merging Tokens for Efficient Vision Language Models
안녕하세요. 지난 주 논문 제출을 마치고 약 2달 만의 리뷰입니다. 금일 리뷰 하는 논문은 ACL (Association for Computational Linguistics) 학회로 아마 연구원 분들은 익숙하진 않으실…
안녕하세요 성준님. 좋은 리뷰 감사합니다. Definition 2.1에서 G와 G'을 정의하는 부분이 잘 이해가 가지 않아 질문드립니다. 제가 이해하기로 G는 backward…