안녕하세요, 이번주도 data pruning 논문을 가져왔습니다. 저번에 리뷰했던 SeTa의 저자가 RePB(ICLR 2026), 그리고 오늘 리뷰할 BLS까지 dynamic data pruning의 연구를 활발하게 이끌고 있는 것 같습니다. 이번 논문에서는 신호 처리에서 배우는 개념들이 나오기 때문에 조금 생소할 수 있지만, 컨셉 자체는 꽤 간단하고 재밌으니 가볍게 읽어보시면 좋을 것 같습니다.

1. Introduction

Dynamic pruning은 training 과정 중 덜 유용한 샘플을 동적으로 식별하여 학습에 활용하지 않게 하여, 계산 자원과 시간을 효과적으로 줄이기 위한 기법입니다. 저번에 리뷰한 SeTa와 같은 기존 dynamic pruning 기법들은 주로 각 샘플들의 loss를 활용해, loss가 낮은 샘플은 걸러내고 높은 샘플만 학습에 이용하는 방식으로 발전되어 왔습니다. 그러나 이렇게 샘플의 loss를 하나하나 구해서 사용하는 것은 일반적인 딥러닝 파이프라인에 적합하지 않다고 저자는 말합니다. 보통 training 과정에서 배치 단위로 한꺼번에 mean batch loss를 구하고, 배치 단위로 backpropagation을 진행하기 때문입니다. 그래서 mean batch loss에서 샘플 별로 loss를 추출하기 위해서는 코드 단에서 많은 수정이 필요할 수 있습니다. (특히나 본 저자는 task-agnostic, model-agnostic한 방식을 추구하기 때문에, 코드 수정이 아주 많지는 않더라도 모델이 바뀌면 그 모델에 맞게 코드를 다시 수정해야 하는 번거로움을 지적하고 있는 것 같습니다. 실제로 저도 SeTa 실험을 할 때 해당 부분에서 어려움을 겪었기 때문에 저자의 문제 정의에 공감이 되었습니다.) 배치 단위 loss는 모든 딥러닝 파이프라인에 존재하지만, 샘플 별 loss는 구할 수 없거나 구하기 번거롭다는 단점이 있습니다. 저자는 바로 이 지점에서의 병목을 지적하며, 훨씬 적응적이고 일반화 가능한 pruning 기법을 위해 샘플 단위의 loss 없이도 샘플의 중요도를 추정하고자 하였습니다.

이를 위해 저자는 mean batch loss로부터 각 sample의 score를 추론하는 Batch Loss Score(BLS)를 제안합니다. BLS는 각 샘플이 시간에 따라 경험하는 batch loss를 사용하며, 쉽게 말해 샘플이 현재 학습 중인 배치에 포함되는 경우에만 EMA(Exponential Moving Average, 지수이동평균)을 적용해 score를 업데이트합니다. 이때 EMA는 배치 loss에서 샘플의 loss만을 추출해주는 low pass filter의 역할을 합니다. (배치 샘플링은 확률적이기 때문에 안정적이지 않은 고주파 성분에 가깝고, EMA가 이러한 고주파 노이즈를 걸러내어 최종적으로 샘플의 loss만을 남긴다는 컨셉입니다.)

해당 논문의 contribution은 다음과 같습니다.

1. mean batch loss만을 사용하여 샘플의 중요도를 평가하는 효율적인 방법론 제안
2. 신호 처리 관점에서 BLS를 분석하고, 주파수 분리 가설 하에서 노이즈 필터링 속성을 증명함으로써 엄격한 이론적 근거 제시
3. BLS로 추론한 score를 바탕으로 기존 샘플 별 loss 기반 방법론과 통합되어 강력한 일반화 능력을 가짐을 확인함

2. Methodology: Batch Loss Score (BLS)

2.1. Preliminaries and Problem Setup

샘플 i의 순간 손실은 l_i(t) := l(f(x_i;\theta_t), y_i) 로 정의할 수 있으며, 이때 f()는 모델의 예측값이고 y는 정답값입니다. training 과정 중 gradient 계산에 사용되는 mean batch loss는 다음과 같습니다.

Definition 2.1 (Dynamic Data Pruning)

Dynamic data pruning은 step t에서 각 샘플 i의 중요도 score s_i(t) 를 할당합니다. 이 score를 기반으로 다음 훈련 주기에는 threshold 미만의 score를 가진 샘플을 pruning하거나 특정 window를 선택하기 위해 부분집합을 선택합니다.

이때 본 연구의 목표는 직접 l_i(t) 를 사용하는 것이 아니라, L(B_t, t) 만을 이용하여 샘플의 score를 뽑아내는 것입니다. 즉 이 score가 l_i(t) 의 의미 있는 proxy로서의 역할을 해야 합니다.

2.2. Per-Sample Score Estimation

BLS로 mean batch loss에서 각 샘플의 score를 추정하는 단계입니다. 각 training step t에서 L(B_t, t) 를 계산한 후, 배치에 참여한 각 샘플의 score가 EMA 방식으로 업데이트 됩니다.

Definition 2.2 (Batch Loss Score)

샘플 i가 배치 B_t 에 포함될 경우 EMA를 통해 업데이트 되고, 그렇지 않은 경우에는 이전 step의 score를 그대로 가져갑니다. 이 때 \alpha 는 기존의 score와 현재 mean batch loss 중 어떤 것을 더 중요하게 볼지, 즉 얼마나 업데이트 할 지를 제어하는 decay factor입니다.

2.3. Seamless Proxy Integration

Contribution (3)에서 서술했듯이 BLS로 구한 sample score는 기존 방법론의 sample loss에 대한 proxy 역할을 하여, 직접 sample loss를 추출하지 않고도 loss를 효과적으로 대체할 수 있습니다. 따라서 기존 방법론과 완전히 독립적이며, 핵심적인 로직이나 hyperparameter에 대한 수정이 전혀 필요하지 않습니다.

3. Theoretical Analysis: BLS as Noise-Filtered Smoothed Loss

3.1. Decomposition of Batch Loss

mean batch loss L(B_t, t) 를 특정 샘플 i의 loss와 나머지 샘플들의 loss의 합으로 분해합니다. 이 때 샘플 i의 loss를 scaled signal이라고 하며, 나머지 샘플 loss의 합을 batch composition noise라고 정의합니다.

Definition 3.1 (Batch Composition Noise)

그렇다면 이 항을 왜 noise라고 부를까요? 그 이유는, 학습 과정에서 배치는 확률적으로 랜덤하게 샘플링되기 때문입니다. 샘플 i의 입장에서 생각했을 때, training 과정 전반에서 샘플 i는 몇몇개의 배치에 뽑혀 학습에 이용될 것입니다. 이때 자기 자신의 loss는 변동폭이 적을 것이고, 그에 반해 랜덤으로 뽑히는 나머지 샘플들은 매번 다른 샘플이기 때문에 loss의 변동폭이 클 것이라고 저자는 가정합니다. 그래서 이 항을 높은 frequency를 가지는 noise라고 가정합니다.

3.2. EMA as a Filtering Mechanism

그렇다면 앞선 L(B_t, t) 에서 noise를 효과적으로 걸러내어 샘플 i의 loss, 즉 scaled signal만을 추출해내야 할 것입니다. 이 때 2.2절의 EMA update가 바로 이 noise를 걸러주는 low-pass filter의 역할을 해줍니다.

EMA의 filtering 매커니즘을 수식적으로 살펴보겠습니다. 먼저 k는 샘플 i가 배치에 포함되는 경우를 의미하는 인덱스입니다. 즉 처음으로 포함되는 경우, 두 번째로 포함되는 경우, …의 시퀀스를 나타내기 위한 notation입니다.

위 과정은 단순히 앞서 설명한 decompostion을 모든 k≥1에 대해 나타내는 과정입니다.

위 수식은 EMA를 적용해 sample loss를 업데이트하는 식으로, 시퀀스 L_i 에 대해 LTI(Linear Time-Invariant) 시스템을 나타내는 1차 무한 impulse response(IIR) filter의 표준 형태입니다.

Proposition 3.2 (BLS Score as Low-Pass Filtered Estimate)

impulse response filter의 표준 형태라고 하였던 위 재귀식을 전개하여 일반항을 도출하고, 그로부터 impulse response h[n] 을 다음과 같이 도출할 수 있습니다.

밑에서 두 번째 식을 convolution으로 나타내면 아래와 같고,

이는 또다시 다음과 같이 분해됩니다.

이때 H가 바로 low-pass filter이며, omega=0에서 최대값을 가지고 주파수가 증가함에 따라 단조적으로 감소합니다. 즉 이 필터는 고주파 성분을 감쇠시키고 저주파 성분만을 통과시키는 역할을 수행합니다.

4. Experiments

4.1. Effective Proxy for Per-Sample Loss

BLS가 효과적인 proxy 역할을 수행함을 입증하기 위해, 기존 dynamic data pruning 방법론인 InfoBatch와 SeTa에 통합하여 실험했습니다.

Table 1은 large-scale dataset에서 BLS를 통합한 방식이 통합하지 않은 방식과 동등하거나 약간 개선된 성능을 보여줍니다. 저자는 복잡한 loss function을 가지는 모델과 대규모 데이터셋 전반에 걸친 이러한 성능이, 기본 dynamic pruning 기법들이 의존하는 sample 중요도의 signal을 효과적으로 포착한다는 것을 시사한다고 주장합니다.

또한 Table 2에서는 ResNet18을 사용하여 CIFAR10, CIFAR100에서의 성능을 평가하고 있습니다. 이 경우에도 BLS를 적용한 경우와 그렇지 않은 경우가 일관되게 같은 성능을 보이고 있음을 알 수 있습니다.

4.2. Broad Generalization of Batch Loss Signal

BLS는 샘플 별 loss를 직접 건드리지 않고 mean batch loss만을 사용하기 때문에, 모델 아키텍쳐의 규제 없이 다양한 모델과 task에서 적용이 가능합니다.

CNN, Transformer, Mamba와 같이 근본적으로 다른 아키텍쳐에 대해서도 안정적인 성능을 보이고 있습니다.

위와 같이 vision-language model, VAE 및 diffusion model을 비롯한 다양한 모델에 걸쳐 쉽게 적용이 가능하며 성능 저하 없이 상당한 양의 pruning을 가능하게 합니다.

5. Conclusion

본 논문에서는 샘플 별 loss를 접근하는 복잡한 방식을 우회하고, mean batch loss만으로 샘플의 중요도를 추론하는 실용적인 dynamic data pruning 방법을 제안하였습니다. 학습 과정에서 각 샘플이 마주치는 batch loss sequence에 샘플별로 EMA를 적용하여 확률적인 배치 구성에서 발생하는 노이즈를 효과적으로 제거하였습니다. 또한 이 필터링 과정은 신호 처리 관점에서의 분석에 의해 증명되었습니다. 또한 다양한 모델과 태스크에 광범위하게 적용되어, 성능을 최대한 유지하면서도 상당한 pruning을 가능하게 하였습니다.