한양대, ‘양자화 인식 지식 증류 학습 기술’ 개발

한양대는 최정욱 융합전자공학부 교수 연구팀이 초저정밀도(삼진 양자화) 언어 모델 양자화 인식 훈련을 위한 지식 증류 기법 알고리즘을 개발했다고 23일 밝혔다.

연구결과 모식도. [사진제공=한양대]

생성형 언어 모델의 추론 연산을 할 때 막대한 저장 공간 및 연산 비용이 필요하다. 가중치 양자화 방식의 압축 기법은 언어 모델의 구조를 유지하면서 모델 가중치를 저장하는 데 사용되는 데이터의 정밀도를 낮추는 방식이다. 이 중 3진 양자화 방식은 모델의 가중치를 -1, 0, 그리고 1까지 총 3가지 값으로만 나타내는 방식이다. 하지만 모델이 가지고 있는 본래의 성능이 크게 떨어진다는 한계가 있다. 이를 보완하기 위해 양자화를 적용한 학생 모델에 지식 증류 기법을 사용해 양자화 인식 학습을 적용하는 방법이 활발히 연구되고 있다.

3진 양자화 인식 학습을 위한 토큰 단위 지식 증류 기술은 생성형 언어 모델이 양자화에 보이는 특성을 기반으로 제안됐고, 양자화로 인해 성능 하락으로 이어지는 영향을 최소화한 기술이다. 이를 통해 기존 지식 증류 기술 대비 더 높은 성능 향상을 끌어낼 수 있었다.

연구팀은 다양한 생성형 언어 모델에 대해서 언어 모델링 및 상식 추론 수행 작업을 통해 TSLD 방법론을 검증했다. 그 결과 3진 양자화를 적용한 모델이 부동 소수점 모델과 비교했을 때 1 미만의 정확도 하락이 나타나는 최고 성능을 기록했다.

임춘한 기자 choon@asiae.co.kr