[ ICML 2026 ] Think in Latent, Explain in Language: Self-Explainable Latent Reasoning

안녕하세요. 오늘은 ICML 2026에서 흥미로운 주제를 다룬 논문이 있어 소개하려 합니다. 요즘 latent reasoning 쪽을 흥미 있게 팔로우하고 있었는데, ICML에 관련 논문이 있어 읽어보고 리뷰하게 되었습니다.

Introduction

Chain of Thought (CoT)는 LLM이 답을 내기 전에 중간 추론 과정을 텍스트로 풀어서 입출력하는 방식입니다. CoT는 NIPS2022에서 게재된 “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”에서 처음으로 그 효과가 주목받았습니다. 당시 CoT는 540B 모델에 8개의 예시만으로 SOTA를 달성하는 엄청난 성능을 보였으며, Tree of Thought와 같은 후속 연구들로도 발전되었고 이후 Reasoning 모델들은 CoT를 활용하는게 필수적일정도로 강력한 성능을 보여왔습니다. 하지만 텍스트 기반의 CoT는 근본적인 한계점이 존재합니다. 생성되는 토큰들의 상당수가 실제 reasoning을 위한 것이 아니라 문장을 매끄럽게 만들기(text coherence) 위함이고 모델이 discrete한 vocabulary 안에서만 사고해야한다는 제약이 있기 때문입니다. 이러한 문제를 해결하기 위해서 나온 연구가 COML2025에 게재된 “Training Large Language Models to Reason in a Continuous Latent Space”(COCONUT)입니다. 아이디어는 되게 심플합니다. 마지막 hidden state를 언어 토큰으로 디코딩하지 않고 바로 다음 스텝의 입력 임베딩으로 다시 입력하는 것입니다.

위의 Figure 1은 COCONUT 논문의 Figure로 방금 설명드린 COCONUT의 Chain of Continuous Thought 방식을 설명하고 있습니다. 이러한 continuous throught는 여러가지의 다음 추론 단계를 동시에 인코딩하는 것으로 기존에 한 경로로 빠르게 확정하는 것이 아니라 일종의 breadth first search(BFS) 처럼 작동할 수 있는 장점이 있습니다. 무슨 말이냐면 기존에는 텍스트를 하나하나 바로바로 확정을 하기 때문에 이후 답변은 앞선 답변이 확정한 토큰을 기반으로 경로를 확정시켜버리지만 continuous thought는 병렬적으로 작동할 수 있기에 더 유연하게 작동할 수 있습니다. 이러한 latent를 활용한 reasoning은 VLM에서는 더 효과가 좋습니다. VLM은 이미 연속적인 visual embedding과 discrete text token 사이에서늬 modality gap을 다뤄야하는데, latent reasoning을 활용하게 된다면 latent 공간에서 두 모달리티 모두 다룰 수 있기 때문에 modality gap을 줄일 수 있습니다.

하지만, latent reasoning에도 단점이 없는 것은 아닙니다. 첫번째 단점은 명시적인 supervision이 없다는 점입니다. continuous thought에는 사람이 이해할 수 있는 GT가 없기 때문에 무엇을 정답으로해서 학습을 해야할 지가 굉장히 모호합니다. 두번째 문제는 interpretability가 없다는 점입니다. latent reasoning은 블랙박스 추론이기 때문에 중간에 모델이 어떻게 답변을 도출했는지를 확인할 수 있는 방법이 없습니다. 기존 방법론들은 이러한 trade-off의 양극단에 있습니다. COCONUT은 성능은 좋지만 완전한 블랙박스로 중간에 모델의 생각을 알 수가 없습니다. 반대로 ICML 2026에 게재된 “Efficient Reasoning with Hidden Thinking”(Heima)는 해석 가능성을 위해서 별도의 post-hoc 디코더를 활용합니다. Heima는 encoder 하나에 summary, caption, reasoning을 각각 따로 디코더 학습을 하는데 이때 디코더는 LoRA를 활용하여 학습합니다. 이런 설계는 interpretability가 있지만 설명과 실제 추론 과정이 분리되어서 디코더가 재구성한 텍스트가 실제로 latent를 반영하는 지는 사실 알 수 없습니다. 참고로 Heima 논문은 다른 학회에 제출했다가 롤링해서 ICML2026년에 게재된 논문으로 저자의 논문과 같이 ICML2026에 게재되었지만 Heima가 좀 더 이전 연구라고 생각하시면 될 것 같습니다. 기회가 된다면 다음에 한번 리뷰로 다뤄보겠습니다. 아무튼 저자는 이러한 한계들을 해결하기 위해서 Self Explainable Latent Reasoning (SELR)을 제안합니다.

SELR은 하나의 통합 모델이 효율적인 latent reasoner인 동시에 자신의 latent-to-language 번역의 기능까지 하도록 설계하여 multi-task reasoning을 수행합니다. Fig 1은 SELR의 프레임워크를 보여주고 있습니다. 왼쪽은 reasoning으로 이미지와 질문이 VLM으로 들어가서 latent thought들을 생성하고 최종 답변을 생성하는 과정이고 오른쪽은 decoding으로 latent thought들을 동일한 VLM에 decoding prompt와 함께 입력하는 것으로 사람이 이해할 수 있는 summary, caption, reasoning 텍스트로 출력합니다. 여기서 핵심은 동일한 모델이 latent thuoght 생성과 latent thought를 활용하여 텍스트를 생성하는 것으로 두가지 역할을 같은 모델이 수행하여 기존 연구가 갖고 있던 모호함을 없앨 수 있습니다. 이에 따라 저자는 다음과 같은 Contribution을 주장합니다.

1. We propose a novel framework SELR that, for the first time, trains a single model to reason efficiently in latent space while also being able to translate its latent thoughts into human-readable text, solving the concurrent problems of supervision and interpretability.
2. We are the first to successfully apply this explainable latent reasoning paradigm to VLMs, demonstrating that a state-of-the-art model can achieve simultaneous improvements in both reasoning accuracy and token efficiency.
3. We provide a comprehensive analysis of training strategies, establishing a set of generalizable best practices for developing efficient and explainable latent space reasoning models.

Approach

이제 방법론을 자세히 살펴보겠습니다. 이미지 I는 비전 인코더 V와 projector P를 거쳐 visual embedding E_v = P(V(I))가 되고 텍스트 X_t는 embedding layer E를 거쳐 E_t = E(X_t)가 됩니다. 이 둘을 concat하여 LLM에 넣어 hidden state H = LLM([E_v;E_t])가 나오고 마지막 hidden state 에 언어 헤드 [latex]W를 곱해 softmax를 취하는 것으로 다음 토큰의 분포를 얻습니다.

latent reasoning 과정은 Alg 1에 정리되어있습니다. 여기서 <bot>와 <eot> 토큰이 latent reasoning의 시작과 끝을 표시합니다. 여기서 중요한 설계 중 하나는 바로 thinking budget으로 latent thought를 몇 개 생성할 지를 결정합니다. 크게 두가지 방식이 있는데 fixed length와 variable length입니다. 저자는 모델이 스스로 <eot>를 예측해서 멈추게 하는 방식이 더 이상적이라고 생각하지만 autonomous termination이 어려워 fixed length를 사용한다고합니다. 개인적으로 이런 솔직한 서술이 나쁘지는 않다고 생각하긴하는데 여기서의 fixed budget 문제는 논문의 limitation으로도 이어집니다.

Fig 2는 Heima와의 구조 비교입니다. Heima는 special thinking token을 쓰고 추론 단계마다 별도의 LLM 디코더를 둡니다. 반면 SELR는 COCONUT처럼 latent thought를 순차적으로 생성하고 디코딩은 별도 모델 없이 동일한 단일 모델이 스스로 수행합니다. 이 그림 하나로 두 방법의 철학 차이가 잘 드러납니다. SELR은 하나의 VLM을 활용함으로 efficiency와 interpretability를 모두 챙겼습니다.

Fig 3는 세 가지 objective를 그림으로 보여줍니다. 첫번째 Loss는 Answer Loss입니다. 이미지, 질문, 그리고 생성된 latent thought가 주어졌을 때 정답 토큰에 대한 cross entropy입니다. 이미지, 질문, latent thought를 조건으로 정답을 맞히게 하는 loss로 latent reasoning이 정답을 잘 내도록 유도합니다. 두번째는 CoT Loss로 Full CoT Loss롸 Single Step Loss가 있습니다. Full CoT Loss는 모든 latent thought를 가지고 decoding prompt와 함께 전체 CoT를 한꺼번에 디코딩하게 하는 loss입니다. Single Step Loss는 하나의 latent thought로부터 대응하는 하나의 추론 단계를 디코딩하게 하는 loss입니다. 이건 latent thought 개수와 추론 단계 개수가 1:1로 대응해야 하므로 variable latent length일 때만 쓸 수 있습니다. Single Step Loss에서 어느 단계를 샘플링할지에 대한 분포도 두 가지를 실험합니다. Uniform은 p(i)=\frac{1}{K}로 모든 단계를 동등하게 뽑고, Exponential은 p(i)=\frac{2^i}{2^{(K+1)-1}}로 뒤쪽 단계일수록 확률이 두 배씩 커집니다. 뒤쪽 단계가 대체로 더 어렵고 중요하니 거기에 집중하겠다는 의도입니다.

저자는 CoT를 디코딩할 때 모델에게 원본 이미지나 질문을 보여주지 않습니다. 오직 latent thought만 줍니다. 이렇게 하면 latent thought가 스스로 완결된 정보를 담을 수밖에 없게 되는 self-regularization이 걸립니다. 즉, latent thought를 일종의 information bottleneck으로 만들어서 이 잠재 벡터만 봐도 추론 과정을 복원할 수 있어야 한다는 강한 제약을 거는 것이죠. 이게 단순히 설명을 붙이는 게 아니라 latent 표현 자체의 질을 끌어올리는 장치라는 점이 SELR의 강점이 되는 것 같습니다.

저자는 학습 방식도 두가지 방식을 사용하여 비교합니다. Single Stage와 Multi Stage입니다. Single Stage는 fixed latent length에 Answer Loss와 Full CoT Loss를 둘 다 weight 1.0으로 함께 최적화합니다. Multi Stage는 COCONUT의 커리큘럼 학습에 영향을 받은 것으로 처음엔 자연어 CoT로 학습하다가 단계적으로 추론 스텝을 latent thought로 바꿔가는 방식입니다. Stage 1에서는 variable latent length에 Answer Loss와 Single Step Loss로 latent와 추론 단계를 1:1 정렬시킵니다. Stage 2에서 LLM은 fixed length로 Single Step Loss를 계속 유지합니다.

Experiments

평가는 VLM은 MMStar, MMBench V1.1, MMVet, MathVista, AI2D, HallusionBench 여섯 개 벤치마크에서 평가합니다. 이 여섯개의 벤치마크는 이전 연구 Heima에서의 세팅과 동일한 세팅입니다.

Tab 1은 VLM 실험 결과입니다. SFT는 베이스라인보다 성능은 비슷하거나 더 낮은 반면 토큰 사용량이 급증합니다. 그에 반해 SELR는 정확도를 올리면서 토큰을 70% 넘게 줄였습니다. 평균 약 13개 토큰으로 추론을 끝낸다는 게 인상적입니다. 개인적으로 이 표에서 가장 강렬한 대비는 Heima가 효율적이고 interpretability를 챙기는 대신에 성능이 조금 낮아지는 동안 SELR는 오히려 성능이 올랐다는 점입니다. 다만 약점도 있습니다. multi-stage SELR는 MMVet에서 base보다 낮습니다. 저자의 분석에 의하면 이 하락이 MMVet 안에서도 multi-step reasoning(수학)과 long-form generation split 즉, 긴 토큰 생성이 필요한 부분에 몰려 있습니다. 이건 latent 계열 모델 공통의 약점입니다. 비교군인 Heima는 이 지점에서 더 나쁜 성능을 보입니다.

Tab 2는 LLM 실험 결과입니다. CoT-SFT가 성능이 좀 높은데 그 이유는 CoT-SFT는 150개 넘는 토큰을 쓰는데 SELR는 6개의 latent token만 사용하기 때문입니다. 실제로 CoT-SFT를 6-token budget으로 제한하면 GSM8k에서 성능이 10.31%로 붕괴하기 때문에 저자가 제안하는 SELR이 꽤나 효과적임을 확인할 수 있습니다.

Tab 3은 디코딩 품질입니다. SELR가 summary, caption, reasoning 세 부분 모두에서 Heima보다 성능이 좋은 것을 확인할 수 있습니다. 추론과 설명을 한 모델에서 통합했을 때 생기는 시너지를 잘 보여주는 결과라고 생각합니다.

Tab 4는 full CoT 디코딩 품질 비교인데 multi stage(Single Step Loss)에서 각 단계를 디코딩해 이어붙인 결과가 single stage의 전체 시퀀스 디코딩보다 나은 성능을 보여줍니다. VLM에서는 step wise 디코딩이 더 좋다는 것을 보여줍니다.

Tab 5와 6은 faithfulness 분석입니다. GPT-4o로 디코딩된 CoT와 최종 답 사이의 consistency를 0~1로 측정하는데 정답을 맞힌 경우는 약 0.5, 틀린 경우는 약 0.26으로 차이가 납니다. 즉, 디코딩된 CoT가 추론 성공 여부와 상관관계가 있다는 것을 보여줍니다.

Tab 7, 8은 Ablation실험입니다. VLM 쪽에서 Answer Loss만 쓰면 오히려 성능이 좋지 않습니다. 그런데 어떤 형태든 CoT Loss를 더하면 성능이 좋아집니다. 즉, CoT Loss가 단순 설명 장치가 아니라 더 효과적인 구조적 표현을 유도하는 역할을 한다는 겁니다. 또 SELR과 SFT ablation 실험으로 성능 향상이 데이터 때문이 아니라 프레임워크 자체 때문임을 분리해 보여줍니다. LLM 쪽 ablation에서는 fixed latent length가 variable보다 낫고 single-stage에는 Full CoT Loss가 도움이 되며 multi-stage에서는 exponential 분포가 uniform보다 낫고 stage 1의 Single Step Loss와 stage 2의 fixed latent length가 각각 중요하다는 것을 확인할 수 있습니다.

Conclusion

저자는 두가지 한계점을 언급하며 논문을 마치고 있습니다. 첫번째로 faithfulness는 여전히 열린 문제입니다. 논문이 말하는 self-explainable은 latent가 self-decodable하고 의미 있는 faithfulness 신호를 준다는 것이지 완전한 투명성을 보장한다는 뜻이 아닙니다. 두번째는 본문에서도 언급했었던 fixed latent length 문제입니다. 를 LM head로 예측하기가 어려워서 학습된 종료 메커니즘(learned stopping)은 future work로 남겨두고 있습니다. 이러한 단점들에도 불구하고 SELR는 latent reasoning의 효율과 해석 가능성을 하나의 모델 안에서 동시에 잡으려 한 시도로서 깔끔한 시도였던 것 같습니다. latent reasoning을 블랙박스에서 조금이나마 열어젖혔다는 점에서 앞으로의 후속 연구의 좋은 출발점이 될 것 같습니다.

감사합니다.