글로벌 인공지능(AI) 스타트업 ‘투플랫폼’이 엔터프라이즈 환경경에서 효율적으로 작동 가능한 ‘수트라 D3(SUTRA D3)’ 프레임워크를 공개했다고 27일 밝혔다. 수트라 D3를 통해 제한된 데이터와 적은 비용으로도 도메인에 특화된 모델을 만들 수 있어 AI 전환(AX)을 고민하는 기업들에게 해결사가 될 것이라는 설명이다. 수트라 D3 프레임워크는 ‘지식 증류(Knowledge Distillation)’ 방식을 채택한 것이 특징이다. 기존에 거대언어모델(LLM)을 파인튜닝하는 방식과 다르게 대형 모델의 출력값을 모방해 소형 모델을 훈련하는 방식으로, 비용을 줄이면서도 뛰어난 성능을 유지하는 게 장점으로 꼽힌다. 급변하는 환경에 맞춰 필요한 모델을 신속하게 만들고 배포하는 것도 가능해 속도도 확보할 수 있다.
투플랫폼 측은 대형 모델이 생성한 합성 데이터로 각 도메인에 맞는 정밀한 모델 학습이 가능해 데이터가 부족한 산업군에서의 활용을 기대하고 있다는 설명이다. 이를 테면 병원에서는 실제 환자의 의료 기록 대신 대형 모델이 만들어낸 가상의 기록을 바탕으로 특화 증류 모델을 만들고, 이 모델을 활용해 다국어 의료 기록을 정밀하게 분석하는 AI 솔루션을 구축하는 방식이다.
비용 측면에서도 경쟁력이 높다. 대형 모델 대비 1/10 수준의 경량화된 규모로 온프레미스나 엣지 환경에서 부담없이 구동 가능하면서도 성능은 유지해 인프라 비용에 대한 부담이 현저히 줄어든다. 합성 데이터 사용으로 실제 데이터를 수집하고 라벨링하는 비용도 절감 가능하다. API형 서비스뿐만 아니라 온디바이스, 온프레미스까지 유연하게 지원하는 배포 환경 또한 API 호출 비용을 아껴주는 동시에 각 기업 고객의 상황에 딱 맞는 모델을 간편하게 구축하도록 지원한다.
프라나브 미스트리 투플랫폼 대표는 “범용 LLM의 시대가 지나고 실무에 최적화된 경량 모델로 트렌드가 옮겨가고 있다”며 “증류 모델은 경량화, 비용, 내부 데이터 특화 등 모든 측면에서 기업 환경에 도입하기에 가장 적합한 형태인 만큼 수트라 D3가 기업 고객을 위한 최적의 AX 파트너가 될 수 있을 것”이라고 전했다.
