손실함수의 평평한 최소점과 강건성의 관계를 수학적으로 증명하는 과정. 연구그림=UNIST챗GPT에 지브리풍 이미지를 그려 달라고 입력하면, 실제 그림을 그리는 주체는 챗GPT가 아닌 달리(DALL·E)라는 확산모델이다. 이 같은 확산모델은 고품질 이미지를 만들어내지만, 손가락이 3개거나 얼굴이 뒤틀린 그림이 나오기도 하고, 수십억 개의 파라미터를 가진 탓에 스마트폰처럼 계산 자원이 제한된 기기에서는 직접 실행하기 어렵다. 이런 한계를 해결할 수 있는 생성형 AI 설계 원리를 국내 연구진이 제시했다.
울산과학기술원(UNIST) 인공지능대학원 윤성환·유재준 교수연구팀은 확산모델을 학습시킬 때 손실함수의 평평한 최소점(flat minima)에 도달하도록 설계하면, 모델의 강건성(robustness)과 일반화 성능(generalization)을 동시에 높일 수 있다는 사실을 이론과 실험으로 입증했다고 22일 밝혔다.
확산모델은 고품질 이미지를 만들 수 있어 이미 챗GPT의 DALL·E와 스테이블 디퓨전(Stable Diffusion) 같은 이미지 생성 AI에 활용되고 있다. 지브리풍, 고흐의 화풍으로 내 사진을 바꿀 수 있고, 나만의 캐릭터를 4컷 만화로 만들어 주거나, 상상 속 풍경을 현실적인 사진처럼 그려내기도 한다.
하지만 이 같은 확산모델은 짧은 생성 과정에서 오차가 누적되거나, 모델을 소형 기기에 옮기기 위해 압축하는 과정에서 발생하는 양자화 오류, 입력에 미세한 교란을 심어 출력을 흔드는 적대적 공격(adversarial attack) 등에 취약한 ‘강건성(robustness)’ 부족 문제가 있다.
연구팀은 강건성 문제가 AI의 근본적인 일반화 성능 부족에서 비롯된다고 진단했다. 일반화 성능은 학습에 쓰지 않은 새로운 데이터나 환경에서도 모델이 안정적으로 작동하는 능력을 말한다.
연구팀은 문제의 해법을 손실 함수의 ‘최저점 골짜기 모양’에서 찾았다. 손실 함수는 AI가 예측한 결과와 정답의 차이를 수치로 나타낸 것으로, 값이 낮을수록 학습이 잘된 상태를 뜻한다. AI는 학습 과정에서 손실 값을 줄이는 방향으로 나아가는데, 이 최저값 지점이 좁고 가파르면 작은 흔들림에도 성능이 쉽게 무너지고, 반대로 넓고 평평한 최소점에 도달하면 새로운 상황이나 방해에도 성능이 안정적으로 유지되는 것이다.
평탄한 최소점을 찾는 학습 알고리즘 중에서는 SAM(Sharpness-Aware Minimization)이 가장 효과적인 것으로 드러났다. SAM을 적용한 확산모델은 짧은 생성 과정에서도 오차 누적의 영향을 덜 받았고, 소형 기기 이전을 위한 압축(양자화)에서도 품질 저하가 작았다. 특히 기존 모델보다 7배 강한 적대적 공격에도 성능을 유지하며 확산모델의 강건성을 크게 높였다.
원래는 반복된 생성으로 인한 오차 누적, 경량화 시 생기는 양자화(quantization) 오류, 적대적 공격 취약과 같은 확산 모델의 강건성은 각각 따로 연구되어 왔으나, 연구팀은 ‘평평한 최소점’이라는 하나의 원리로 이 문제점들을 모두 해결할 수 있음을 이번 연구로 입증했다고 설명했다.
연구팀은 “단순히 이미지 품질을 높이는 것을 넘어, 다양한 산업과 실제 환경에서도 믿고 쓸 수 있는 생성형 AI의 설계 원리를 제시했다는 점에서 의미가 크다”며 “챗GPT 같은 대규모 생성 모델을 소량 데이터만으로도 안정적으로 학습하게 하는 기반이 될 것”이라고 말했다.
이번 연구는 UNIST 이태환, 서경국 연구원이 제1저자로 참여했다.
연구 결과는 2025 ICCV(International Conference on Computer Vision)에 채택됐다. ICCV는 인공지능 분야 권위 학회 중 하나로, 올해 학회는 미국 하와이에서 지난 19일 개막해, 오는 23일까지 5일간 열린다. 연구 수행은 과학기술정보통신부 한국연구재단, 정보통신기획평가원, 보건복지부, 울산과학기술원의 지원을 받아 이뤄졌다.
