Author: 김 주연
[arXiv 2024] AffectGPT: Dataset and Framework for Explainable Multimodal Emotion Recognition
pdf Code&Dataset 안녕하세요! 따근따근한?? 7월 10일에 arXiv에 등록된 EMER 저자의 후속 논문을 가지고 와봤습니다. EMER 논문이 새로운 감정 인식의 포문을 연 논문이라 생각이 들지만 조금…
[ICML 2022] Characterizing and Overcoming the Greedy Nature of Learning in Multi-modal Deep Neural Networks
pdf 안녕하세요. 저번 논문에 이어서 이번에도 multi-modal learning에서 imbalance하게 학습이 되는 요인과 해결책을 제시하는 논문을 들고 왔습니다. 이전에 리뷰한 multimodal cooperation 논문 같은 경우와 비슷하면서도…
[CVPR 2024] Enhancing Multimodal Cooperation via Sample-level Modality Valuation
pdf code & dataset [2024.07.31 2.2 파트 설명 추가] 저는 현재 multimodal imbalance, multimodal bias와 관련하여 이를 해결하는 방법론을 제안하는 논문을 작성 중에 있습니다. 그런데…
[arXiv 2024] Emotion-LLaMA
안녕하세요. 정말 따근따근한 MER (Multimodal Emotion Recognition)논문을 들고 왔습니다. arXiv에 6월에 등록된 논문으로 EMER과 마찬가지로 under review 중에 있는 논문입니다. 새로운 MER 분야로 찾아보게 되니…
[arXiv 2023] Explainable Multimodal Emotion Recognition
안녕하세요! 이번에는 arXiv 논문을 가져와봤습니다. 2023년 논문이지만 6번의 수정있었고 최종적으로 2024년도ver6으로 읽었기 때문에 2024년도 논문이라 봐도 무방할 것 같습니다. 논문 페이지 하단에 under review라고 적혀있는거…
2024년 상반기 회고@김주연
안녕하세요! 벌써 2024년도 하반기가 찾아왔습니다. 시간을 붙잡고 싶어도 붙잡을 수 없다는 것이 한탄일 정도로 너무나도 빠르게 시간이 흐르는 것 같습니다. 이번 상반기는 정말 많은 것을…
[EMNLP 2023] A Training-Free Debiasing Framework with Counterfactual Reasoning for Conversational Emotion Detection
안녕하세요. 이번에는 ERC task에서 counterfactual inference를 통해 debiasing하는 논문을 가져와봤습니다. NLP 논문으로 ERC 분야에서 처음으로 debiasing 방법을 제안한 논문이라고 해서 흥미롭게 읽었는데, 특히나 bias가 있음을…
[ICASSP 2024] Improving Multi-Modal Emotion Recognition Using Entropy-Based Fusion and Pruning-Based Network Architecture Optimization
안녕하세요. 이번 논문도 감정인식 논문인데 제가 읽어왔던 논문과는 조금 다른 결을 가집니다. Entropy-based Fusion이라는 것이 흥미를 끌어 읽게 되었습니다. Pruning도 사용하니 최적화 관련하여 관심이 있으신…
[CVPR 2024] OneLLM: One Framework to Align All Modalities with Language
안녕하세요. 최근에 계속해서 LLM 관련으로 논문을 읽게 되는 것 같습니다. LLM 논문을 볼 때마다 아쉬웠던 점이, 멀티모달 LLM 관련하여 vision-text 분야 LLM은 굉장히 논문이 많이…
[ICASSP 2024] Customising General Large Language Models for Specialised Emotion Recognition Tasks
안녕하세요. 최근에 세미나에서 발표한 NAACL 2024 논문의 경우도 Prompt를 활영하여 인코딩 하는 식으로 LLM을 사용하는 모습을 볼 수 있었는데 여기를 더 팔로업 해보고자 LLM을 감정…
안녕하세요 희승님 좋은 댓글 감사합니다. concept vector를 동일한 concept을 포함한 이미지 임베딩의 평균으로 추정하는 걸로 이해했는데 예를들어 blue bird 이미지가…