[애플 쇼크웨이브](40)엔비디아 혁명, 애플 AI 본능을 깨우다

애플, CPU 성능보다 NPU 성능 업그레이드에 주력
유명 칼럼니스트 "아이폰15프로 핵심은 NPU"
칩·OS 차원 지원으로 LLM 등 온디바이스 AI 경쟁 본격화

편집자주[애플 쇼크웨이브]는 애플이 반도체 시장에 뛰어들며 벌어진 격변의 현장을 살펴보는 콘텐츠입니다. 애플이 웬 반도체냐고 생각하실 수 있습니다. 애플은 이제 단순히 스마트폰과 컴퓨터를 만드는 회사가 아닙니다. 고 스티브 잡스 창업자에서부터 시작된 오랜 노력 끝에 애플은 모바일 기기에 사용하는 세계 최고 수준의 반도체를 설계해 냈습니다. PC 시대에 인텔이 있었다면, 애플은 모바일 시대 반도체 생태계 최상위 포식자가 됐습니다. 세계적인 반도체 공급망 위기와 대규모 반도체 생산라인 설비 투자가 이뤄지는 지금, 애플 실리콘이 불러온 반도체 시장의 격변과 전망을 꼼꼼히 살펴 독자 여러분의 혜안을 넓혀 드리겠습니다. 애플 쇼크웨이브는 매 주말 독자 여러분을 찾아갑니다. 40회 이상 연재 후에는 책으로 출간합니다.

"애플의 뉴럴 엔진 성능 향상은 아이폰15프로의 핵심이다." (팀 바자린 칼럼니스트)

인공지능 반도체에 기반한 엔비디아의 질주를 애플도 무시할 수 없다. 오직 반도체 설계만 하는 팹리스(Fabless) 업체인 엔비디아 주식 시가총액이 애플의 30%까지 치솟았다. 매출규모에서 비교가 안되는 두 기업이지만 온전히 생성형(LLM) AI 학습에 필요한 엔비디아의 반도체 H100과 H200 칩 수요가 폭발한 덕이다. 애플이 아이폰 15 발표 이후 발열 현상 등 각종 추문에 휩싸였던 반면 엔비디아는 수요가 몰리며 시장의 기대를 뛰어넘는 실적을 발표하고 있다.

챗GPT가 쏘아 올린 생성형 AI 붐과 앤비디아의 급부상은 애플의 입장도 바꾸고 있다.

애플 쇼크웨이브는 앞서 애플이 인공지능(AI)이라는 단어 대신 머신러닝(machine learning)이라는 용어를 사용한다고 전했다. 인공지능, 특히 클라우드 기반인 LLM 인공지능보다는 아이폰이나 맥북, 아이패드 자체에서 작동하는 '온디바이스'(on device) AI에 주력한다는 것이 애플의 방침이었다.

애플의 고집은 유명하다. 모든 스마트폰 업체들이 일찌감치 USB-C 형 충전단자를 택했음에도 고집스레 독자적인 라이트닝 단자를 유지하다 유럽연합(EU)의 규제가 나오고서야 아이폰15에서 USB-C 단자를 적용했을 정도다.

그런 애플도 AI의 급진전 속에 더이상 머신러닝을 고집하기 어렵게 됐다. 엔비디아의 그래픽 프로세서(GPU)에 기반한 AI가 인간의 지능에 필적하는 범용 인공지능(AGI, Artificial General Intelligence)으로 급격히 진화하는 상황에서 스마트폰 시장의 절반을 차지한 애플도 뒤질 수 없다는 인식이 부각된 것이다.

이제 애플은 물론 퀄컴, 삼성전자 등 대다수의 스마트폰용 칩과 스마트폰 제조사들도 자체 개발 애플리케이션프로세서(AP)에 LLM 기능을 포함하고 운영체제 차원에서 지원해 본격적인 서비스를 시작할 전망이다.

팀 쿡 애플 최고경영자(CEO)도 더 이상 참을 수 없다는 듯 공개적으로 AI 강화를 선언했다. 쿡은 2023년 11월 3일 열린 실적 발표회에서 LLM을 개발하고 있음을 사실상 인정했다. 애플은 외부 앱 제조사가 아이폰의 AI 기능을 활용할 수 있도록 개발자용 'X코드'에도 AI기능을 포함시킬 것으로 예상된다.

그러기 위해서는 반도체 차원의 AI 기능 지원이 필수다. 애플의 최신 칩 A17프로에는 LLM 지원 기능이 없지만 애플은 A 시리즈 칩에 뉴럴엔진(NPU)을 적용해 지속해서 인공지능 기능을 지원해 왔다.

만약 애플이 LLM을 지원한다면 OS 단에서의 지원과 칩의 연합군 형성이 유력하다. 그 핵심이 뉴럴엔진이다.

애플이 공개한 A17프로 칩의 내부도. AI 기능을 당당하는 뉴럴엔진이 기존에 비해 2배 빨라졌다고 적시하고 있다. 자료=애플

애플은 아이폰 10주년 기념 모델인 아이폰X에 사용된 A11 칩부터 뉴럴엔진을 탑재했다. 애플이 선보인 세계 최초 3나노 기반 소비자 기기용 반도체인 A17프로는 CPU 성능 향상이 기대에 못 미친다는 평을 받고 있지만 뉴럴엔진만큼은 다르다. 애플은 전작인 A16에 비해 A17프로의 뉴럴엔진이 두배 빨라졌다고 했다. 첫 뉴럴엔진은 초당 6000억번의 연산을 할 수 있었지만 A17프로는 초당 35조회의 연산을 할 수 있다. 약 58배의 성능향상이 이뤄졌다. 그만큼 AI 기능을 지원할 체력이 향상된 것이다.

미국의 정보기술 전문 칼럼니스트인 팀 바자린도 아이폰15프로에서 가장 주목해야 할 부분이 뉴럴엔진의 발전이라고 지목했다. 그는 A17 프로 칩의 뉴럴엔진이 반도체 부분에서 GPU와 함께 가장 중요한 부분이라고 자신 있게 말한다. 애플이 CPU가 아니라 뉴럴엔진과 GPU를 강화하는 데 주력했다면 향후 노림수는 분명하다. AI다.

바자린은 일부 언론들이 애플이 AI 경쟁에서 뒤지고 있다고 지적하지만, 서버 기반 AI보다는 온디바이스 AI를 지향하던 애플이 뉴럴 엔진을 강화하면서 클라우드 서버 기반의 AI 기능을 더욱 빠르게 처리할 수 있다고 진단했다.

애플 운영체제인 iOS18 차원에서 LLM을 지원해도 같은 OS를 사용하는 모든 아이폰이 동일한 기능을 지원하기는 어려울 것이다. 애플은 칩 성능에 따라 앱 차원의 신규 서비스를 제한해 왔다. 대표적인 예가 애플 뮤직에서 제공하는 '싱'(sing)이다. 이 기능은 음악을 재생하면서 가수의 목소리만 제거한다. 아이폰을 노래방 기기로 만들어 주는 기능인 셈이다.

싱은 대표적인 아이폰의 인공지능 기능이지만 모든 아이폰이 사용할 수는 없다. 애플은 A13 이후의 칩을 사용한 아이폰과 아이패드에만 이 기능을 사용할 수 있도록 했다. 아이폰에 사용된 A 칩에 포함된 뉴럴엔진의 성능이 다르기 때문이다. 심지어 현재 최신인 A17프로도 애플 LLM을 지원하지 못 할 수 있다. LLM이 더욱 강력한 뉴럴엔진의 힘을 필요로 할 가능성이 크기 때문이다.

CPU 기능에 비해 AI기 능이 더 빠르게 발전했지만, 소비자들이 이를 인식하기는 아직 어렵다. 소비자들이 스마트폰의 AI 기능을 활용하기 위해서는 인공지능 비서 기능의 강화가 필요하다. 애플이 기존 AI 비서 '시리(Siri)'의 기능을 대폭 확장하려는 것도 이 때문이다. 시리가 제대로 된 LLM 기능을 수행할 경우 10억명이 넘는 아이폰 사용자들이 단번에 AI의 성능을 확인할 수 있다. 별도의 앱이나 홈페이지를 통해 질문을 해야 하는 LLM에 비해 소비자들이 AI에 쉽게 접근할 수 있게 되는 셈이다.

바자린은 AI를 통한 시리의 성능 강화에도 뉴럴엔진이 큰 몫을 할 것으로 추정했다. 바자린은 특히 애플이 AI에 뒤지고 있다는 지적에 문제가 있다는 시각을 드러낸다. 그는 저명한 AI 학자 리 카이푸(Kai-Fu Lee)가 애플에 재직하고 있던 1991년 이미 AI 기반 음성인식 작업을 하고 있었다고 회상했다. 아울러 리가 애플의 AI 초기 연구에 큰 영향을 미쳤다고 부연한다. 이에 앞서 애플은 1987년부터 AI 알고리즘에 의한 지식 내비게이터(knowledge navigator) 개념을 연구했다. 이는 존 스컬리 당시 CEO가 주장한 이 개념이다. 바자린은 애플이 이미 다양한 제품과 앱과 서비스에 AI를 적용하고 있다고 강조했다.

애플의 AI 공세는 2024년 6월 열릴 애플 세계개발자회의(WWDC)에서 등장할 것으로 예상해 볼 수 있다.

퀄컴과 삼성도 뒤질 수 없다. 안드로이드 진영 칩의 대장격인 퀄컴은 최근 소개한 '스냅드래곤 8 3세대' 칩의 핵심이 뉴럴엔진이라고 공언했다. 삼성도 신형 엑시노스2400 칩의 뉴럴엔진이 기존에 비해 14.7배 빨라졌다면서자체 개발 LLM인 '가우스'(Gauss)의 등장을 예고하고 있다.

백종민 기자 cinqange@asiae.co.kr