초거대 AI모델을 만드는데 있어서 가장 중요한 역량은 모델이 아니고 초거대 infra를 확보하고, 이를 다루는 능력이다.
모델이야 이미 Transformer면 다 되는 거지만, 그 사이즈가 너무 빨리 커지는게 문제다.
점점 커지는 모델의 사이즈가 요구하는 compute power를 맞추기 위해서는 (노란색 선) 이미 2022년에도 수백개, 2023년에는 수천개의 반도체 (=GPU or NPU)가 필요하다.
무어의 법칙을 감안하더라도 2024년에는 1만개의 반도체, 2025년에는 10만개의 반도체가 있어야된다. (파란색 점선) 심지어 한계에 다다른 무어의 법칙까지 감안하면 문제는 더 심각해진다.
이렇게 많은 수만/수십만개의 반도체들을 어떻게 묶어서 하나의 반도체처럼 돌릴 수 있느냐는 매우 어려운 문제다. 지금까지의 GPU/NPU는 이런 상황을 감안하고 만들어지지 않았다.
NVIDIA의 경우에도 급한대로 Infiniband를 써서 대충 묶어두었지만, 그거야 몇백개 수준까지나 먹히는 이야기고, GPU 숫자가 늘어날 수록 network는 기하급수적으로 늘어날 수 밖에 없고, 결국 전체 클러스터의 성능은 여기서 병목이 걸릴 수 밖에 없다.
(한가지 더 문제가 전력과 발열이다. 이미 GPU/NPU는 엄청난 전력을 소비하고 있고, 충분히 뜨겁다. NVIDIA에서 H100 발표했지만 솔직히 저 물건이 필요로 하는 전력과 냉방을 제대로 받아내 줄 수 있는 데이터센터의 rack은 거의 없다. 결국 당분간 A100으로 버텨야된다는 이야기다.)
여기에 더해 현재의 AI framework(=PyTorch나 Tensorflow)도 이런 상황을 고려하고 만들어지지 않은 것도 또 하나의 큰 문제가 된다. 결국 준비가 덜 된 반도체를 가져다가 준비가 덜 된 AI framework을 붙잡고 초거대 모델을 돌려야 하는거다. 지금까지 대부분의 AI application/모델 개발자들은 이런 복잡한 network/memory 병목문제를 풀어본 적도 아니 만나본 적도 없다.
초거대 모델이 미래인 것이 매우 명확해 보이는 이 시점에 AI의 기회는 이 언저리에 있다고 생각한다.
(1) 제대로 scale out을 고려한 반도체 (AI core보다 오히려 network과 memory쪽의 차별화에 기회가 있을것 같다)
(2) 아직 준비가 덜 된 반도체와 준비가 덜된 AI framework 간을 이어 붙여서 어떻게든 큰 모델을 돌릴 수 있게 해줄 SW solution(지금 NVIDIA도 이건 부족하고 그냥 무식한 SI식 서비스로 메꿔넣고 있는데 이 방식이 길게 보아 답이 아니라는건 명확하다)
(3) (2)에서 역량을 먼저 쌓은 애들은 OpenAI나 Stability AI처럼 모델을 platform화 시켜서 PaaS 형태의 사업을 갈수 있을 거다. (여기에 추가적으로 수천/수만개 GPU를 확보할 수 있는 돈도 필요하다. OpenAI에는 MSFT가 1조 CAPEX를 댔다고 봐도 되고, Stability AI도 A100 6천장 가지고 있다고 알려져있다. A100이 하나에 천만원이 넘고, A100이 8장 꼽힌 DGX는 3억이 넘는다. A100이 만장 필요하면 도대체 이게 얼마냐...)
(4) 차별화된 데이터를 갖고 있는 곳은 (3)과 파트너십을 통해 SaaS를 만들어낼 수 있을거다. (Github가 OpenAI를 데리고 CoPilot을 만들었다)
여기까지 (1)/(2)/(3)/(4)이 당분간 AI scene에서 핵심적인 사업기회라고 보고,
추가적으로 (5) (3) 위에서 특정 application별로 monetization 기회를 찾아내는 사업들이 등장할거다. (지금 Stable Diffusion기반으로 프로필사진 앱 만들어서 돈 퍼담고 있는 Lensa.ai가 좋은 예일거 같다)
개인적으로는 좀 안타까운 것이 지금 한국에서는 (1) 기존의 AI반도체 업체들은 저 방향과는 거리가 멀고, (2)는 거의 보이지 않고, (3)은 네이버나 KT, 삼성 정도의 극소수 대기업을 제외하면 GPU를 제대로 도입한 곳도 도입할 능력이 있는 곳도 거의 없다. (3)이 없으니 (4)가 나오기를 기대하기도 참 애매하니 안타깝다. (5)에서는 뭔가 나오지 않을까 싶기는 하지만, AI산업에서의 의미라는 관점에서나, 개인적인 흥미로나 별로 재미없는 영역이다.
2023년에는 한국에서도 의미있는 AI업체들을 많이 보고싶다.
<Android 닮음꼴>
점점 엔비디아의 자율주행 분야 지배력이 커진다.
승용에서뿐 아니라 상용에까지 그 영역이 확장되고 있다.
처음엔 Hardware인 GPU 때문에 손을 잡지만 어려운 Compiler와 Software, Platform까지 구비된 것들이 너무 많기에…
테슬라가 애플처럼 폐쇄형 생태계라면, 엔비디아는 안드로이드처럼 오픈 생태계다.
최근 Argo AI의 폐업을 보면서… 스마트폰 태동기 바다, 심비안 같은 OS가 죽어가던 모습이 오버랩된다. 그 이후 안드로이드 진영이 모든 스마트폰의 OS로 독점적 위치를 차지했다.
2018년 이후 업체간 전략적 제휴, M&A 등 합종연횡이 활발했었다. 하지만 이젠 엔비디아 플랫폼으로 자꾸 수렴된다. (첫 그림의 제일 위를 보면 H/W의 대부분이 엔비디아에 의해 장악되었음을 알 수 있다)
자율주행이 현재 시스템으론 불가능하다 판단하는 기업들이 점점 늘어간다. 반면 테슬라와 엔비디아의 사세는 확장되고 있다.(주가는 기업의 실력과 때론 별개다, 지나고 나서 평가될 수도..) 이런 상황이 자꾸 스마트폰의 iOS, Android 오버랩의 데자뷰 같은가보다.
테슬라나 엔비디아랑 전혀 상관 없는 사람이 자꾸 이들 기업을 언급하는 이유는… 모든걸 오픈하는 회사들이기 때문일 수도 있다. 그 어떤 업체도 우리가 가진 실력과 청사진이 이러이러하다고 밝히지 않고 꽁꽁 감추기 때문이다.
이런 구도에서 과연 한국 자동차업체는 어떤 지혜를 발휘해 선도력을 갖게될까?
한국 모빌리티 산업의 건승을 정말 간절히 빕니다!!!!