Dust: 역전파 없이 Transformer 사전학습하기

Dust는 역전파(backpropagation) 없이 Transformer 모델을 사전학습하는 새로운 방식이다. 기존 신경망 학습은 손실함수로부터 역방향으로 기울기를 계산해 가중치를 갱신하는데, Dust는 이 과정을 거치지 않고도 모델을 훈련할 수 있다는 점이 핵심이다.

역전파를 제거하면 메모리 사용량을 크게 줄일 수 있고, GPU/TPU 연산도 간소화되며, 생물학적으로 더 그럴듯한 학습 메커니즘을 구현할 수 있다. 대규모 언어모델이나 멀티모달 학습처럼 메모리 제약이 심한 영역에서 훈련 효율을 높일 수 있어 개발자와 연구자가 주목할 만하다.