개인 PC·스마트폰 GPU로 AI 서비스 비용 67% 낮춘다

Question

챗GPT 같은 대규모 언어모델(LLM) 기반 AI 서비스를 이용하려면 고가의 데이터센터 GPU가 필수다. 국내 연구팀이 개인용 PC나 스마트폰에 탑재된 저렴한 GPU를 활용해 AI 서비스 비용을 약 67% 절감할 수 있는 기술을 개발했다.

KAIST는 한동수 전기및전자공학부 교수팀이 데이터센터 밖에 널리 보급된 개인 소비자가 쓰는 수준의 GPU를 활용해 LLM 인프라 비용을 크게 낮출 수 있는 새로운 기술 '스펙엣지(SpecEdge)'를 개발했다고 28일 밝혔다. 연구 결과는 12월초 미국 샌디에이고에서 열린 인공지능 분야 최고 권위 국제학회인 ‘신경정보처리시스템학회(NeurIPS)’에서 스포트라이트(상위 3.2% 우수 논문)로 선정돼 발표됐다.

스펙엣지는 데이터센터 GPU와 개인 PC나 소형 서버 등에 탑재된 '엣지 GPU'가 역할을 나눠 LLM 추론 인프라를 함께 구성하는 방식이다. 기존 데이터센터 GPU만 사용하는 방식에 비해 토큰당 비용을 약 67.6% 절감했다.

연구팀은 '추측적 디코딩(Speculative Decoding)' 방법을 활용했다. 엣지 GPU에 배치된 소형 언어모델이 확률이 높은 토큰 시퀀스를 빠르게 생성하면 데이터센터의 대규모 언어모델이 일괄 검증하는 방식이다. 엣지 GPU는 서버의 응답을 기다리지 않고 계속 단어를 만들어 LLM 추론 속도와 인프라 효율을 동시에 높였다.

데이터센터 GPU에서만 추측적 디코딩을 수행하는 방식과 비교해 비용 효율성은 1.91배, 서버 처리량은 2.22배 향상됐다. 일반적인 인터넷 속도에서도 문제없이 작동해, 별도의 특수한 네트워크 환경 없이도 실제 서비스에 바로 적용할 수 있다.

이생망청새치 · Accepted Answer

카이스트가 뉴스 자주나네

개인 PC·스마트폰 GPU로 AI 서비스 비용 67% 낮춘다

오르비 캐스트