[2025 ACL] Shifting from Ranking to Set Selection for Retrieval Augmented Generation

이번 X-Review에서 소개할 논문은 Shifting from Ranking to Set Selection for Retrieval-Augmented Generation입니다. 이 논문은 RAG에서 retrieval을 단순히 관련 passage를 순위화하는 문제가 아니라, 질문에 필요한 정보를 함께 충족하는 passage set을 선택하는 문제로 바라봅니다. 이를 위해 저자는 CoT 기반으로 정보 요구사항을 파악하고, 그 요구사항을 포괄적으로 만족하는 passage 집합을 선택하는 SETR을 제안합니다.

1. Introduction

Retrieval-Augmented Generation, 즉 RAG는 LLM이 가지고 있는 한계를 보완하기 위해 가장 널리 사용되는 방법 중 하나입니다. LLM은 학습 시점 이후의 최신 지식이나 특정 도메인 지식을 바로 반영하기 어렵고, 잘못된 정보를 그럴듯하게 생성하는 hallucination 문제도 가지고 있습니다. RAG는 이러한 문제를 해결하기 위해 외부 문서에서 질문과 관련 있는 passage를 검색하고, 이를 LLM의 입력으로 제공하여 더 정확하고 근거 있는 답변을 생성하도록 돕습니다.

그런데 RAG에서 중요한 것은 단순히 passage를 많이 가져오는 것이 아닙니다. 최종 답변의 품질은 검색된 passage들이 얼마나 적절한 정보를 담고 있는지에 크게 의존합니다. 따라서 retrieval 또는 reranking module은 RAG 시스템에서 매우 핵심적인 역할을 합니다. 기존 연구들도 이러한 점에 주목해 retrieval이 필요한 시점을 판단하거나, 여러 번 retrieval과 generation을 반복하거나, 복잡한 질문을 sub-question으로 나누어 검색하는 방식들을 제안해왔습니다.

하지만 저자는 이러한 multi-step retrieval 방식들이 실제 환경에서는 비용이 크다는 점을 지적합니다. 여러 번 검색하고, 다시 생성하고, 또 검색하는 과정이 반복되기 때문에 inference cost가 커지고, real-world RAG system에 적용하기에는 부담이 될 수 있다는 이야기입니다. 그래서 많은 RAG 시스템은 여전히 더 단순한 top-k retrieval 또는 reranking 방식을 사용합니다. 즉, 먼저 retriever가 후보 passage를 가져오고, reranker가 각 passage의 relevance를 기준으로 다시 순위를 매긴 뒤, 상위 k개를 선택하는 구조입니다.

여기서 저자의 핵심 문제의식이 등장합니다. 기존 reranking 방식은 passage를 각각 독립적으로 평가합니다. 쉽게 말하면, “이 passage가 질문과 얼마나 관련 있는가?”만 보고 점수를 매기는 방식입니다. 하지만 RAG에서는 개별 passage 하나하나의 relevance만 중요한 것이 아닙니다. 최종적으로 LLM에게 들어가는 passage set 전체가 질문에 답하기 위해 필요한 정보를 얼마나 포괄적으로 담고 있는지가 더 중요할 수 있습니다.

예를 들어 어떤 회사의 정체를 맞히는 질문이 있다고 해보겠습니다. 이 질문에 답하기 위해서는 그 회사의 사업 전략, 논란, 제품 주장 등 여러 측면의 정보가 모두 필요할 수 있습니다. 그런데 reranker가 제품 관련 passage만 높은 점수로 뽑고, 논란이나 사업 전략에 관한 passage는 선택하지 않는다면, 각각의 passage는 relevant해 보일 수 있어도 전체 set은 불완전해집니다. 결국 LLM은 한쪽 정보만 보고 답변하게 되고, 최종 답변이 틀리거나 부정확해질 수 있습니다.

저자는 바로 이 지점에서 기존 ranking 기반 retrieval의 한계를 지적합니다. RAG는 search engine과 다르게 단순히 관련 문서를 순서대로 보여주는 것이 목적이 아닙니다. RAG의 목적은 LLM이 정확한 답변을 생성할 수 있도록 필요한 evidence set을 구성하는 것입니다. 따라서 relevance뿐만 아니라 diversity, completeness, comprehensiveness까지 함께 고려해야 한다는 것이 이 논문의 핵심 주장입니다.

이러한 문제를 설명하기 위해 저자는 그림 1에서 기존 reranking 방식과 자신들의 set selection 방식을 비교합니다. 먼저 Direct Reranking 방식은 후보 passage들을 바로 relevance 기준으로 정렬합니다. 이 방식은 간단하고 효율적이지만, 어떤 정보 요구사항이 있는지 명시적으로 분석하지 않기 때문에 여러 측면의 정보가 고르게 선택되었는지 알기 어렵습니다.

다음으로 Reranking with CoT 방식은 Chain-of-Thought reasoning을 추가하여 질문에 필요한 정보를 어느 정도 추론합니다. 하지만 최종적으로는 여전히 passage를 ranking하는 구조이기 때문에, 여러 정보 요구사항이 하나의 relevance score로 압축되는 과정에서 중요한 정보가 약하게 반영되거나 누락될 수 있습니다. 즉, reasoning을 하긴 하지만 최종 선택 방식은 여전히 개별 passage 순위에 의존한다는 한계가 있습니다.

반면 저자가 제안하는 SET SELECTION 방식은 처음부터 문제를 다르게 정의합니다. passage를 하나씩 독립적으로 점수화하는 것이 아니라, 질문에 답하기 위해 필요한 정보 요구사항을 먼저 식별하고, 그 요구사항들을 collectively 만족시키는 passage set을 선택합니다. 쉽게 말하면, “가장 점수가 높은 passage k개를 고르자”가 아니라, “이 질문에 답하기 위해 필요한 정보들을 빠짐없이 채우는 passage 조합을 고르자”는 방식입니다.

이러한 관점 전환이 이 논문의 제목인 Shifting from Ranking to Set Selection과도 연결됩니다. 저자는 RAG에서 retrieval을 단순 ranking 문제가 아니라 set selection 문제로 바라봐야 한다고 주장합니다.

이를 위해 저자는 SETR이라는 fine-tuned LLM 기반 set-wise passage selection 모델을 제안합니다. SETR은 먼저 Chain-of-Thought reasoning을 통해 질문이 요구하는 정보가 무엇인지 분석합니다. 이후 검색된 후보 passage 전체를 보고, 이 정보 요구사항들을 가장 잘 충족하는 subset을 선택합니다. 즉, SETR은 reranker처럼 passage에 순위를 매기는 모델이라기보다는, RAG에 넣을 최적의 evidence set을 구성하는 모델에 가깝습니다.

이 방식의 장점은 두 가지로 볼 수 있습니다. 첫 번째는 정보 coverage를 명시적으로 고려한다는 점입니다. 기존 reranking 방식은 상위 passage들이 서로 비슷한 내용만 반복하더라도 이를 직접적으로 막기 어렵습니다. 반면 SETR은 질문에 필요한 정보 요구사항을 기준으로 passage set을 구성하기 때문에, redundant한 passage를 줄이고 다양한 측면의 정보를 포함할 가능성이 높습니다.

두 번째는 RAG 시스템에서 실제로 중요한 목표와 더 잘 맞는다는 점입니다. RAG의 최종 목표는 검색 순위 자체를 잘 맞히는 것이 아니라, LLM이 정답을 생성할 수 있도록 충분하고 적절한 evidence를 제공하는 것입니다. 그런 점에서 set-wise selection은 기존 reranking보다 RAG의 목적에 더 직접적으로 연결된 접근이라고 볼 수 있습니다.

정리하면, 이 논문의 contribution은 크게 세 가지입니다.

첫 번째, RAG retrieval을 기존의 ranking 문제에서 set selection 문제로 재정의합니다. 개별 passage의 relevance만 보는 것이 아니라, passage set 전체가 질문에 필요한 정보를 얼마나 포괄적으로 담고 있는지를 최적화하려는 접근입니다.

두 번째, SETR이라는 fine-tuned LLM 기반 모델을 통해 information requirement-based set-wise passage selection을 실제 RAG 시스템에 적용합니다. 이를 통해 multi-hop RAG benchmark에서 기존 proprietary reranker와 open-source reranker보다 더 좋은 answer correctness를 달성합니다.

세 번째, retrieval 결과 자체와 최종 generation 결과를 모두 평가하여 set-wise selection의 효과를 종합적으로 보여줍니다. 특히 precision과 recall 향상을 함께 보고했다는 점에서, 이 방법이 단순히 LLM generation에 우연히 도움이 된 것이 아니라 retrieval quality 자체를 개선한다는 주장을 강화합니다.

2. SETR: Set-wise Passage Selection for Retrieval-Augmented Generation

이번 섹션에서는 저자가 제안하는 SETR의 방법론을 자세히 살펴보겠습니다. 앞선 Introduction에서 저자는 RAG에서 retrieval을 단순 ranking 문제가 아니라 set selection 문제로 바라봐야 한다고 주장했습니다. 이제 방법론 파트에서는 이 문제를 어떻게 정의하고, 실제 모델을 어떻게 학습했는지 설명합니다.

전체 흐름은 크게 세 부분으로 나눌 수 있습니다. 먼저 2.1에서는 passage selection task를 기존 reranking 방식과 비교하면서 새롭게 정의합니다. 다음으로 2.2에서는 질문이 요구하는 정보를 파악하기 위한 Information Requirement Identification, 즉 IRI 방법을 설명합니다. 마지막으로 2.3에서는 이러한 reasoning과 selection 능력을 더 작고 효율적인 모델에 distillation하는 SETR의 학습 과정을 설명합니다.

2.1 Task Definition

먼저 저자는 passage retrieval을 개별 passage의 순위를 매기는 문제가 아니라, 질문에 답하기 위한 passage 집합을 선택하는 문제로 정의합니다. 즉, 단순히 top-k를 고르는 것이 아니라 필요한 정보를 충족하는 evidence set을 구성하는 것이 목표입니다.

기존 reranking은 각 passage의 relevance를 기준으로 정렬하지만, 이 방식은 여러 정보가 결합되어야 하는 상황에서 한계가 있습니다. 특히 multi-hop 질문에서는 개별 점수보다 선택된 passage들이 서로 보완적으로 정보를 제공하는지가 더 중요합니다.

따라서 저자는 set-wise retrieval이라는 관점을 제안합니다. 이 방식은 passage를 하나씩 독립적으로 평가하는 것이 아니라, 선택된 passage set 전체의 relevance, completeness, conciseness를 함께 최적화합니다. 여기서 relevance는 질문과의 관련성, completeness는 질문에 답하기 위한 정보가 충분히 포함되어 있는지, conciseness는 불필요하거나 중복된 passage를 줄이는지를 의미합니다.

이 접근의 또 다른 장점은 top-k 값을 수동으로 정할 필요가 없다는 점입니다. 기존 reranking에서는 몇 개의 passage를 사용할지 k를 사람이 직접 정해야 합니다. 하지만 질문마다 필요한 evidence의 수는 다를 수 있습니다. 어떤 질문은 하나의 passage만으로 충분할 수 있고, 어떤 질문은 여러 passage가 필요할 수 있습니다. SETR은 passage 개수를 고정하지 않고, 질문에 따라 필요한 passage subset을 선택하는 방식이기 때문에 이 문제를 조금 더 자연스럽게 처리할 수 있습니다.

2.2 Information Requirement Identification via CoT Reasoning

다음으로 저자는 SETR의 핵심 구성 요소 중 하나인 Information Requirement Identification, 즉 IRI를 설명합니다. 쉽게 말하면, 질문에 답하기 위해 어떤 정보들이 필요한지를 먼저 명시적으로 나누어 보는 과정입니다.

기존 reranking 방식은 질문과 passage의 관련성을 바로 계산합니다. 반면 SETR은 바로 passage를 고르지 않고, 먼저 질문을 분석합니다. 저자는 이를 위해 Chain-of-Thought reasoning 기반 prompting strategy를 사용합니다. 그림 2에서 보이는 prompt가 바로 이 과정을 보여줍니다.

이 prompt는 크게 세 단계로 구성됩니다.

첫 번째 단계에서는 질문에 답하기 위해 필요한 information requirement를 나열합니다. 예를 들어 질문이 두 개 이상의 사실을 조합해야 하는 multi-hop 질문이라면, 각각의 사실이 하나의 information requirement가 될 수 있습니다.

두 번째 단계에서는 각 requirement를 만족하는 passage가 무엇인지 찾습니다. 즉, 후보 passage들 중 어떤 passage가 어떤 정보 요구사항을 충족하는지 매핑하는 과정입니다.

세 번째 단계에서는 최종적으로 질문에 답하기 위해 가장 명확하고 다양한 정보를 제공하는 passage subset을 선택합니다. 여기서 중요한 점은 passage 개수에 제한이 없다는 것입니다. 즉, 반드시 top-5나 top-10을 고르는 것이 아니라, 필요한 만큼만 선택합니다.

이 방식은 zero-shot listwise reranking과 차이가 있습니다. Listwise reranking은 후보 passage 전체를 보고 순위를 매기지만, 결국 모든 후보를 어떤 순서로 배열하는 것이 목표입니다. 반면 SETR의 prompt는 모든 passage를 ranking하려 하지 않습니다. 필요한 passage만 선택하고, 선택되지 않은 passage는 버립니다. 즉, “전체 후보를 어떻게 정렬할 것인가?”가 아니라 “질문에 답하기 위해 어떤 passage set이 필요한가?”를 묻는 방식입니다.

이 지점이 꽤 중요합니다. CoT를 사용한다고 해서 자동으로 set selection이 되는 것은 아닙니다. 일반적인 CoT reranking은 reasoning을 하더라도 최종적으로 relevance score나 ranking으로 다시 압축될 수 있습니다. 반면 이 논문에서는 reasoning의 목적을 information requirement를 식별하고, 그 requirement를 충족하는 passage set을 선택하는 데 직접 연결합니다. 그래서 단순히 “생각을 단계적으로 해보자”가 아니라, “질문에 필요한 정보가 무엇이고, 어떤 passage가 그 정보를 제공하는가”를 명시적으로 따지는 구조라고 볼 수 있습니다.

2.3 Model Distillation

하지만 여기서 한 가지 현실적인 문제가 있습니다. 앞서 설명한 set-wise passage selection을 GPT-4o 같은 proprietary LLM으로 매번 수행하면 성능은 좋을 수 있지만, 비용과 latency가 커집니다. 특히 real-time search system이나 실제 RAG 서비스에서는 매 요청마다 큰 LLM으로 후보 passage 전체를 reasoning하게 만드는 것이 부담스러울 수 있습니다.

그래서 저자는 SETR이라는 distilled model을 학습합니다. 핵심 아이디어는 GPT-4o와 같은 강한 teacher model이 수행한 step-by-step reasoning과 passage selection 결과를 더 작은 student model에 distillation하는 것입니다. 즉, 비싼 LLM을 inference 때 계속 사용하는 것이 아니라, 그 reasoning 능력을 작은 모델에 학습시켜 효율적으로 사용하겠다는 접근입니다.

SETR은 information requirement identification을 기반으로 set-wise passage selection을 수행하도록 fine-tuning된 모델입니다. 저자는 이를 통해 proprietary LLM의 강한 reasoning 능력은 활용하되, 실제 사용 시에는 더 저렴하고 빠른 모델로 대체할 수 있다고 주장합니다.

2.3.1 Data Construction

SETR을 학습하기 위해 저자는 먼저 distillation용 데이터를 구성합니다. 데이터는 MS MARCO v1 passage ranking dataset에서 파생된 Pradeep et al.의 40K training questions를 사용합니다. 각 query에는 top-20 retrieved candidate passages가 함께 제공됩니다.

그 다음, GPT-4o를 teacher model로 사용하여 각 query와 후보 passage들에 대해 set-wise passage selection 결과를 생성합니다. 이때 앞서 설명한 zero-shot prompting 방식을 사용합니다. 즉, GPT-4o에게 질문과 후보 passage들을 입력하고, information requirement를 식별한 뒤 최종 선택 passage를 출력하도록 만드는 방식입니다.

이렇게 생성된 teacher-labeled selection이 student model의 학습 데이터가 됩니다. 쉽게 말하면, GPT-4o가 “이 질문에는 어떤 정보가 필요하고, 따라서 어떤 passage들을 선택해야 한다”고 만든 reasoning trace와 선택 결과를 SETR이 따라 하도록 학습하는 구조입니다.

저자는 데이터 전처리에서도 몇 가지 세부 처리를 합니다. passage 안에 등장하는 [n] 형태의 표기를 (n)으로 바꾸는데, 이는 passage 번호와 본문 안의 bracket notation이 혼동되는 것을 막기 위한 처리입니다. 또한 ftfy의 fix_text 함수를 사용해 입력 텍스트를 정리한 뒤 모델에 넣습니다. 이런 부분은 방법론의 핵심은 아니지만, 재현성과 inference 안정성 측면에서는 필요한 세부 구현이라고 볼 수 있습니다.

2.3.2 Training

학습에는 Llama-3.1-8B-Instruct를 base model로 사용합니다. 학습 방식은 standard supervised fine-tuning입니다. 입력은 user question과 retrieved passages를 포함하는 prompt이고, 출력은 teacher model이 생성한 CoT reasoning과 최종 선택 passage입니다.

즉, 모델은 단순히 passage 번호만 맞히도록 학습되는 것이 아니라, 질문을 분석하고, 필요한 information requirement를 식별하고, 각 requirement와 passage를 연결한 뒤, 최종 selection을 출력하도록 학습됩니다. 이 점에서 SETR은 일반적인 reranker와 다릅니다. 일반 reranker가 passage별 score를 예측하는 모델에 가깝다면, SETR은 질문과 후보 passage 전체를 보고 최종 evidence set을 생성하는 instruction-following model에 가깝습니다.

저자는 ablation study를 위해 세 가지 모델 변형을 비교합니다.

첫 번째는 SETR-Selection only입니다. 이 모델은 reasoning 과정 없이 최종 선택 passage만 생성하도록 학습됩니다. 즉, “왜 이 passage가 필요한가”를 설명하지 않고 바로 선택 결과만 내는 모델입니다.

두 번째는 SETR-CoT입니다. 이 모델은 일반적인 “Let’s think step-by-step” 형태의 CoT reasoning을 사용합니다. 하지만 information requirement를 명시적으로 식별하지는 않습니다. 따라서 reasoning은 존재하지만, 질문이 요구하는 정보들을 구조적으로 나누어 passage selection에 연결하는 과정은 약합니다.

세 번째가 full model인 SETR-CoT & IRI입니다. 이 모델은 CoT reasoning과 explicit information requirement identification을 모두 포함합니다. 즉, 질문에 답하기 위해 필요한 정보 요구사항을 먼저 나누고, 각 요구사항을 만족하는 passage를 찾은 뒤, 최종 passage set을 선택합니다.

이 ablation 설계는 논문의 주장과 잘 연결됩니다. 저자가 보여주고 싶은 것은 단순히 CoT를 넣어서 좋아진 것이 아니라, information requirement를 명시적으로 식별하고 이를 set-wise selection에 연결하는 과정이 중요하다는 점입니다. 만약 SETR-CoT & IRI가 SETR-CoT나 Selection only보다 좋은 성능을 보인다면, 저자의 핵심 주장인 “RAG retrieval은 ranking이 아니라 information requirement 기반 set selection으로 봐야 한다”는 논리를 더 강하게 뒷받침할 수 있습니다.

정리하면, SETR의 방법론은 크게 세 단계로 볼 수 있습니다. 먼저 RAG retrieval을 passage ranking이 아니라 passage set selection 문제로 재정의합니다. 다음으로 CoT reasoning을 사용해 질문이 요구하는 information requirement를 명시적으로 식별합니다. 마지막으로 GPT-4o가 만든 reasoning과 selection 결과를 Llama-3.1-8B-Instruct에 distillation하여, 실제 환경에서도 사용할 수 있는 효율적인 set-wise selector를 학습합니다.

3. Experiments

실험은 크게 두 가지 관점에서 진행됩니다. 첫 번째는 end-to-end question answering 성능입니다. 즉, SETR이 선택한 passage를 LLM에게 넣었을 때 실제 답변 정확도가 좋아지는지를 보는 것입니다. 두 번째는 retrieval 자체의 품질입니다. 선택된 passage들이 정답에 필요한 evidence를 얼마나 잘 포함하는지를 따로 평가합니다.

3.1 Setup

먼저 benchmark부터 보겠습니다. 저자는 총 네 개의 multi-hop QA dataset을 사용합니다. HotpotQA, 2WikiMultiHopQA, MuSiQue, MultiHopRAG가 사용되었고, 모두 복잡한 질문에 답하기 위해 여러 passage의 정보를 함께 조합해야 하는 태스크입니다.

Baseline으로는 다양한 ranking model을 비교합니다. 먼저 BM25 같은 전통적인 sparse retrieval 방법이 포함되어 있고, bge-large-en-v1.5와 bge-reranker-large 같은 dense retrieval/reranking 모델도 사용됩니다. 또한 RankLlama, RankVicuna, RankZephyr, FirstMistral, RankGPT와 같은 LLM-based reranker도 비교 대상에 포함됩니다. 특히 RankGPT는 GPT-4o를 사용하기 때문에, proprietary LLM 기반 reranker와 비교한다는 점에서 SETR의 효율성과 성능을 보여주기 좋은 baseline이라고 볼 수 있습니다.

구현 세부사항을 보면, SETR은 Llama-3.1-8B-Instruct를 기반으로 학습됩니다. 5 epoch 동안 supervised fine-tuning을 수행하고, 평가에서는 first-stage retriever와 generator를 고정합니다. First-stage retrieval에는 bge-large-en-v1.5를 사용하고, answer generation에는 fine-tuning하지 않은 Llama-3.1-8B-Instruct를 사용합니다.

3.2 End-to-end QA Evaluation

표 1은 end-to-end question answering 결과를 보여줍니다. 이 표에서는 BM25와 bge-large-en-v1.5를 first-stage retriever로 사용한 경우를 나누어 비교합니다. 각 방법은 top-20 candidate passage를 받은 뒤, reranking 또는 set selection을 수행하고, 최종적으로 선택된 passage를 generator에 넣어 답변을 생성합니다.

먼저 눈에 띄는 점은 SETR이 평균적으로 훨씬 적은 passage를 사용한다는 것입니다. 기존 reranking baseline들은 모두 top-5 passage를 사용합니다. 반면 SETR 계열은 평균적으로 약 2.5개에서 3.4개 정도의 passage만 선택합니다. 즉, SETR은 더 적은 passage를 LLM에게 제공하면서도 대부분의 benchmark에서 더 높은 답변 성능을 보입니다.

BM25를 first-stage retriever로 사용한 경우를 보면, SETR은 HotpotQA와 2WikiMultiHopQA에서 강한 성능을 보입니다. 예를 들어 SETR-CoT & IRI는 HotpotQA에서 가장 높은 EM을 기록하고, SETR-Selection only도 여러 지표에서 좋은 성능을 보입니다. 다만 여기서 살짝 주의할 점은 모든 지표에서 SETR이 압도적으로 최고는 아니라는 것입니다. MultiHopRAG accuracy에서는 RankGPT가 44.36으로 SETR-CoT & IRI의 44.13보다 약간 높습니다.

bge-large-en-v1.5를 first-stage retriever로 사용한 경우에는 SETR의 강점이 더 분명하게 드러납니다. SETR 계열은 HotpotQA, 2WikiMultiHopQA, MuSiQue, MultiHopRAG 전반에서 기존 reranker보다 높은 성능을 보입니다. 특히 SETR-CoT & IRI는 MultiHopRAG에서 47.14의 accuracy를 기록하며 가장 좋은 성능을 보입니다. MuSiQue에서도 SETR-CoT & IRI가 가장 높은 F1을 기록합니다. 이 결과는 좋은 first-stage retriever가 충분히 좋은 후보군을 가져왔을 때, SETR이 그 안에서 필요한 evidence set을 효과적으로 고를 수 있음을 보여줍니다.

흥미로운 점은 LLM-based reranker들이 기대만큼 강하지 않다는 것입니다. RankLlama나 RankZephyr 같은 모델들은 bge-reranker-large보다 항상 뛰어난 것은 아니고, 어떤 경우에는 오히려 비슷하거나 낮은 성능을 보입니다. 저자는 이를 복잡한 multi-hop 질문에서는 단순 relevance ranking만으로는 부족하기 때문이라고 해석합니다. 질문이 복잡할수록 검색 후보에는 noisy passage가 많이 섞이고, 정답을 위해 필요한 정보도 여러 측면으로 나뉘기 때문에, 단순히 passage 하나하나의 관련성을 평가하는 방식은 한계가 있다는 것입니다.

다만 이 결과를 볼 때 한 가지 비판적으로 볼 부분도 있습니다. SETR은 Llama-3.1-8B-Instruct를 fine-tuning한 모델이고, teacher labeling에는 GPT-4o가 사용되었습니다. 따라서 단순 reranker와 비교할 때 inference cost, training cost, teacher 데이터 생성 비용을 더 명확하게 비교해주면 좋았을 것 같습니다.

3.3 Retrieval Evaluation

다음으로 표 2에서는 retrieval 자체의 품질을 평가합니다. 여기서는 MultiHopRAG dataset을 사용하고, 두 종류의 metric을 함께 봅니다. 하나는 MRR@10, NDCG@10 같은 rank-based metric이고, 다른 하나는 Precision@5, Recall@5 같은 presence-based metric입니다.

Rank-based metric은 정답 passage가 순위상 얼마나 위에 있는지를 평가합니다. 즉, passage ranking이 잘 되었는지를 보는 지표입니다. 반면 presence-based metric은 선택된 passage set 안에 필요한 evidence가 포함되어 있는지를 봅니다. SETR은 본질적으로 ranking 모델이 아니라 selection 모델이기 때문에, 저자는 이 두 metric을 구분해서 보는 것이 중요하다고 이야기합니다.

결과를 보면, rank-based metric에서는 LLM-based reranker들이 강한 모습을 보입니다. 특히 RankGPT는 MRR@10에서 0.6358로 가장 높은 성능을 보이고, RankLlama도 NDCG@10에서 좋은 성능을 보입니다. 반면 SETR은 MRR이나 NDCG에서는 이들보다 낮습니다. 이 결과만 보면 SETR이 ranking model로서는 가장 뛰어나다고 말하기 어렵습니다.

하지만 presence-based metric으로 보면 양상이 달라집니다. SETR-CoT & IRI는 Precision@5에서 0.2268, Recall@5에서 0.3669를 기록하며 가장 좋은 성능을 보입니다. 특히 Precision@5에서 RankGPT의 0.1799보다 꽤 높은 값을 보입니다. 이는 SETR이 정답 evidence를 순위상 가장 위에 올리는 데 특화된 모델은 아니지만, 최종적으로 선택된 passage set 안에 필요한 정보를 더 정확하게 포함한다는 것을 의미합니다.

이 지점이 이 논문에서 꽤 중요한 부분입니다. 기존 retrieval evaluation은 보통 ranking metric에 많이 의존합니다. 하지만 multi-hop RAG에서는 하나의 passage가 query와 얼마나 관련 있는지만으로는 충분하지 않습니다. 여러 passage가 함께 필요한 정보를 구성해야 하기 때문입니다. 따라서 MRR이나 NDCG처럼 query-document 간 one-to-one relevance를 가정하는 metric은 multi-hop RAG의 실제 목표를 충분히 반영하지 못할 수 있습니다.

저자는 이 discrepancy를 표 1과 표 2를 통해 보여줍니다. RankGPT는 rank-based metric에서는 매우 강하지만, end-to-end QA 성능에서는 SETR이 더 좋은 경우가 많습니다. 반대로 SETR은 rank-based metric에서는 최고가 아니지만, presence-based metric과 최종 QA 성능에서는 강한 모습을 보입니다. 이는 RAG에서 retrieval을 ranking 문제로만 평가하는 것이 불완전할 수 있음을 보여주는 근거입니다.

쉽게 말하면, 기존 reranker는 “정답 passage를 얼마나 위에 올렸는가”에 강하고, SETR은 “LLM이 답변하는 데 필요한 passage set을 얼마나 잘 구성했는가”에 강한 모델이라고 볼 수 있습니다. 그리고 RAG의 최종 목적이 좋은 순위표를 만드는 것이 아니라 정확한 답변을 생성하는 것이라면, 후자의 관점이 더 중요할 수 있습니다.

정리하면, 실험 결과는 SETR의 핵심 주장을 꽤 잘 뒷받침합니다. End-to-end QA에서는 SETR이 더 적은 passage를 사용하면서도 기존 reranker보다 높은 성능을 보이고, retrieval evaluation에서는 rank-based metric보다 presence-based metric에서 더 강한 성능을 보입니다. 이는 RAG retrieval을 단순 ranking이 아니라 set selection 문제로 봐야 한다는 저자의 주장을 실험적으로 뒷받침하는 결과입니다.

4. Analysis

이번 섹션에서는 저자가 제안한 SETR이 왜 효과적인지 조금 더 세부적으로 분석합니다. 앞선 실험 파트에서는 SETR이 end-to-end QA 성능과 retrieval quality 측면에서 기존 reranker보다 좋은 결과를 보인다는 것을 확인했습니다. 이제 이 분석 파트에서는 그 성능 향상이 정확히 어디서 오는지, 그리고 SETR이 기존 ranking 방식과 어떤 차이를 가지는지 더 자세히 살펴봅니다.

저자는 크게 네 가지 관점에서 분석을 진행합니다. 첫 번째는 SETR이 선택한 passage set이 실제로 더 많은 유효 정보를 포함하는지, 즉 informativeness를 보는 것입니다. 두 번째는 불필요하거나 noisy한 passage를 얼마나 잘 제거하는지, 즉 robustness를 분석합니다. 세 번째는 CoT와 IRI 같은 reasoning component가 성능에 어떤 영향을 주는지 확인합니다. 마지막으로 selection 기반 방법이 token efficiency 측면에서도 실제로 이점이 있는지를 살펴봅니다.

4.1 Effectiveness of Set Selection: Informativeness and Robustness

먼저 저자는 SETR의 set selection 방식이 실제로 좋은 evidence set을 구성하는지 분석합니다. 여기서 핵심은 두 가지입니다. 하나는 선택된 passage들이 질문에 필요한 정보를 얼마나 포괄적으로 담고 있는가이고, 다른 하나는 불필요하거나 중복된 passage를 얼마나 잘 제거하는가입니다.

먼저 informativeness부터 보겠습니다. 기존 ranking 기반 retrieval은 passage를 개별 relevance 기준으로 평가합니다. 즉, 각 passage가 질문과 얼마나 관련 있는지를 따로따로 점수화합니다. 하지만 이런 방식은 여러 passage가 함께 제공하는 collective information gain을 충분히 반영하지 못할 수 있습니다. 특히 multi-hop QA에서는 하나의 passage만 중요한 것이 아니라, 여러 passage가 서로 다른 단서를 제공하면서 함께 정답을 구성하는 경우가 많습니다.

저자는 이 문제를 보기 위해 information coverage를 추가로 분석합니다. 쉽게 말하면, 선택된 passage를 하나씩 늘려갈 때 새로운 gold evidence가 얼마나 추가로 포함되는지를 측정하는 것입니다. 만약 어떤 방법이 비슷한 내용의 passage만 계속 선택한다면, passage 개수는 늘어나도 실제로 새롭게 얻는 정보는 많지 않을 것입니다. 반대로 좋은 set selection 방법이라면, 적은 수의 passage만으로도 서로 다른 gold evidence를 더 많이 포함해야 합니다.

그림 3a와 3d를 보면, SETR은 ordering 없이 passage를 선택하는 방식임에도 불구하고 Hit@k와 information coverage에서 기존 reranking 방법보다 더 좋은 결과를 보입니다. 특히 Hit@k는 48.87%에서 69.90%로 크게 향상되고, information coverage도 19.33%에서 36.49%로 증가합니다. 반면 다른 reranker들은 새로운 정보를 추가로 확보하는 정도가 평균적으로 9.80% 정도에 그칩니다.

기존 reranker는 relevance가 높은 passage를 계속 고르지만, 실제로는 이미 선택된 passage와 중복되는 정보일 수 있습니다. 반면 SETR은 질문에 필요한 information requirement를 먼저 파악하고, 이를 충족하는 passage set을 구성하기 때문에 더 다양한 evidence를 포함할 가능성이 높습니다.

다음은 robustness입니다. 저자는 passage 개수를 늘렸을 때 answer generation 성능이 어떻게 변하는지 분석합니다. 일반적으로 RAG에서는 더 많은 passage를 넣으면 정보가 많아져 성능이 좋아질 것 같지만, 실제로는 꼭 그렇지 않습니다. 특히 multi-hop QA에서는 irrelevant passage나 contradictory evidence가 함께 들어가면 generator가 오히려 헷갈릴 수 있습니다.

그림 3b, 3c, 3e, 3f를 보면, 단순히 input passage 수를 늘리는 것이 항상 성능 향상으로 이어지지 않습니다. 오히려 passage가 많아질수록 성능이 떨어지는 경우도 나타납니다. 이는 RAG에서 “많이 넣는 것”이 답이 아니라는 것을 보여줍니다. LLM에게 많은 context를 주는 것보다, 정답에 필요한 정보만 잘 정제해서 주는 것이 더 중요할 수 있다는 이야기입니다.

SETR은 평균적으로 2.91개의 passage만 사용합니다. 기존 reranking 방식이 일반적으로 top-5 passage를 사용하는 것과 비교하면 훨씬 적은 수입니다. 그런데도 SETR은 더 강한 성능을 보입니다. 이는 SETR이 high-utility passage와 distractor를 어느 정도 구분할 수 있다는 것을 의미합니다. 즉, 필요한 정보는 남기고, 불필요한 정보는 줄이는 방향으로 작동한다는 것입니다.

4.2 Effectiveness of Reasoning Components: The Role of CoT and IRI

다음으로 저자는 SETR에서 reasoning component가 어떤 역할을 하는지 분석합니다. 여기서 비교하는 모델은 세 가지입니다. 첫 번째는 reasoning 없이 최종 passage만 선택하는 SETR-Selection only, 두 번째는 일반적인 CoT reasoning을 사용하는 SETR-CoT, 세 번째는 CoT에 information requirement identification을 명시적으로 결합한 SETR-CoT & IRI입니다.

이 분석의 핵심 질문은 단순합니다. SETR의 성능 향상이 그냥 LLM이 “step-by-step으로 생각했기 때문”인지, 아니면 information requirement를 명시적으로 식별하는 IRI가 실제로 중요한 역할을 하는지 확인하려는 것입니다.

표 1과 표 2, 그리고 뒤에서 나오는 표 3의 결과를 보면, IRI를 포함한 SETR-CoT & IRI가 전반적으로 더 좋은 성능을 보입니다. 특히 precision 측면에서 일반 CoT만 사용하는 것보다 IRI 기반 reasoning을 사용하는 것이 더 효과적이라고 분석합니다.

여기서 중요한 차이는 reasoning의 목적입니다. 일반 CoT는 모델이 답을 찾기 위해 자유롭게 reasoning하도록 유도합니다. 하지만 SETR의 IRI는 질문에 답하기 위해 필요한 정보 요구사항을 먼저 나누고, 각 요구사항을 어떤 passage가 충족하는지 연결합니다. 즉, reasoning이 passage selection과 직접 연결됩니다.

이 점에서 SETR-CoT & IRI는 단순 CoT보다 구조적입니다. 그냥 생각을 길게 하는 것이 아니라, “이 질문에 필요한 정보는 무엇인가?”, “각 정보는 어떤 passage에서 얻을 수 있는가?”, “그렇다면 최종적으로 어떤 passage set이 필요한가?”라는 순서로 reasoning을 제한합니다. 저자는 바로 이 구조화된 reasoning이 더 좋은 information coverage를 만들고, negative candidate를 제거하는 데 도움이 된다고 주장합니다.

4.3 A More Equitable Comparison: Method-Level Effects

이전 실험에서는 SETR이 좋은 성능을 보였지만, 한 가지 의문이 남을 수 있습니다. 성능 향상이 정말 set selection이라는 방법론 때문인지, 아니면 base model, training data, teacher supervision 같은 외부 요인 때문인지 구분하기 어렵다는 점입니다.

저자도 이 문제를 인식하고, 더 공정한 비교를 위해 method-level evaluation을 추가로 수행합니다. 여기서는 confounding factor를 최대한 통제하고, 방법 자체의 효과를 보려고 합니다. 이를 위해 두 가지 실험 설정을 사용합니다.

첫 번째는 teacher model을 upper bound처럼 사용하는 설정입니다. 여기서는 reranking 방식과 set selection 방식 모두 GPT-4o를 사용합니다. 즉, 모델 성능 차이나 학습 차이를 최대한 배제하고, 같은 강력한 teacher model이 ranking을 했을 때와 set selection을 했을 때 어떤 차이가 나는지를 보는 것입니다.

표 3을 보면, GPT-4o를 사용한 경우에도 set selection 방식이 traditional reranking보다 전반적으로 더 좋은 결과를 보입니다. 이는 성능 향상이 단순히 student model이 잘 학습됐기 때문만은 아니고, retrieval을 ranking이 아니라 set selection으로 정의한 것 자체가 효과적일 수 있음을 보여줍니다.

여기서 흥미로운 비교는 Rank + CoT와 SETR-CoT입니다. 둘 다 CoT reasoning을 사용하지만, 최종 단계가 다릅니다. Rank + CoT는 reasoning을 한 뒤에도 passage를 ranking하는 방식이고, SETR-CoT는 passage set을 선택하는 방식입니다. 결과적으로 set selection 방식이 더 좋은 성능을 보이는 경우가 많습니다. 이는 reasoning 과정에서 나온 여러 정보 요구사항이 하나의 ranking score로 통합되는 순간 일부 정보가 약하게 반영되거나 누락될 수 있음을 시사합니다.

두 번째는 unified setting입니다. 여기서는 모든 모델을 같은 base architecture인 Llama-3.1-8B-Instruct 위에서 구현하고, 같은 GPT-4o teacher supervision으로 학습하며, 동일한 generation protocol로 평가합니다. 즉, 최대한 공정하게 “ranking 방식이 좋은가, set selection 방식이 좋은가”를 비교하려는 실험입니다.

표 4를 보면, SETR-CoT & IRI는 동일한 조건에서 재구현된 RankZephyr 계열보다 모든 task에서 더 좋은 end-to-end QA 성능을 보입니다. 특히 MultiHopRAG accuracy에서 47.14를 기록하며 RankZephyr 계열보다 분명히 높은 성능을 보입니다. 이 결과는 SETR의 성능 향상이 base model이나 teacher supervision의 차이에서만 온 것이 아니라, selection-based formulation 자체의 효과라는 저자의 주장을 뒷받침합니다.  

4.4 Efficiency Analysis

마지막으로 저자는 token efficiency를 분석합니다. RAG 시스템에서는 성능만큼이나 효율성도 중요합니다. 아무리 좋은 passage를 선택하더라도, retrieval 단계에서 너무 많은 token을 생성하거나 generator에 너무 긴 context를 넣어야 한다면 실제 서비스에 적용하기 어렵습니다.

저자는 효율성을 직접 GPU latency나 memory로 측정하지는 않고, token usage를 proxy로 사용합니다. 구체적으로 두 가지를 봅니다. 하나는 retrieval 단계에서 생성되는 output token 수이고, 다른 하나는 generator에 입력되는 input token 수입니다. 전자는 selector 또는 reranker가 reasoning이나 ranking 결과를 생성할 때 드는 비용을 나타내고, 후자는 최종 LLM generation 비용과 연결됩니다.

표 5를 보면, SETR 계열은 reranking 기반 방법보다 generator에 넣는 input token 수가 훨씬 적습니다. 예를 들어 MultiHopRAG에서 RankZephyr는 generator에 2672 token을 넣는 반면, SETR-CoT & IRI는 1240 token만 넣습니다. 거의 절반 이하로 줄어든 셈입니다. 그럼에도 SETR은 end-to-end QA 성능을 유지하거나 오히려 더 좋은 성능을 보입니다.

이 결과는 앞선 robustness 분석과도 연결됩니다. SETR은 단순히 context를 줄이는 것이 아니라, 필요한 passage만 남기기 때문에 token 수를 줄이면서도 성능을 유지할 수 있습니다. RAG에서 generator input token이 줄어든다는 것은 latency와 비용을 줄일 수 있다는 의미이기 때문에, 실제 시스템 관점에서도 중요한 장점입니다.

다만 reasoning을 포함하는 SETR-CoT나 SETR-CoT & IRI는 retrieval 단계에서 output token을 더 많이 생성합니다. 예를 들어 SETR-Selection only는 매우 적은 output token만 사용하지만, SETR-CoT & IRI는 reasoning을 생성해야 하므로 output token이 늘어납니다. 따라서 SETR 내부에서도 trade-off가 존재합니다. Selection only는 가장 효율적이지만 성능이 조금 낮을 수 있고, CoT & IRI는 token을 더 쓰지만 더 좋은 answer correctness와 recall을 얻을 수 있습니다.

저자는 이를 accuracy-efficiency trade-off로 해석합니다. 즉, 실제 응용 환경에서는 latency budget이나 resource constraint에 따라 SETR-Selection only를 사용할 수도 있고, 더 높은 정확도가 필요하면 SETR-CoT & IRI를 사용할 수도 있습니다.

정리하면, 분석 파트는 SETR의 성능 향상이 단순한 우연이 아니라는 점을 여러 관점에서 보여줍니다. SETR은 기존 reranker보다 더 높은 information coverage를 달성하고, noisy passage를 줄이며, IRI 기반 reasoning을 통해 필요한 정보를 더 구조적으로 선택합니다. 또한 같은 teacher model과 같은 base model을 사용하는 controlled setting에서도 set selection 방식이 ranking 방식보다 유리하다는 점을 보여줍니다. 마지막으로 generator에 들어가는 token 수를 줄이면서도 성능을 유지한다는 점에서, RAG 시스템의 효율성 측면에서도 장점이 있습니다.