LLM - 성능 - 최적화 - 정규화된 저랭크 적응(NoRA)

https://arxiv.org/abs/2608.31036

2026.8.31
[Normalized Low-Rank Adaptation]

이 논문은 기존의 효율적인 모델 미세 조정 방식인 LoRA의 한계를 극복하기 위해, 다운 프로젝션(down-projection) 행렬의 정규화를 핵심 기재로 사용하는 NoRA(Normalized Low-Rank Adaptation) 방식을 제안합니다. 연구진은 LoRA의 초기 학습 역학이 무작위로 초기화된 행렬 A에 의해 크게 좌우되어 최적화의 불균형과 불안정성이 발생한다는 점에 주목하고, 이를 해결하기 위해 행렬 A의 열 벡터들을 정규화하여 입력과 잠재 공간 사이의 척도를 일정하게 제어했습니다. 이러한 방식은 추가적인 매개변수나 추론 비용 없이도 학습 수렴 속도를 가속화하고 성능의 안정성을 높이며, 특히 미세 조정 과정에서 발생하는 치명적 망각(catastrophic forgetting) 현상을 효과적으로 완화합니다. 결과적으로 NoRA는 사전 학습, 지도 학습 기반 미세 조정(SFT), 강화 학습 등 다양한 영역에서 기존 LoRA보다 뛰어난 효율성과 강건성을 입증하며 매개변수 효율적 미세 조정(PEFT)의 새로운 설계 원칙을 제시합니다.