정부의 Ai로드맵 방향성을 잃은건가?

1. GPT-3 이후로 scale만 키우면 ( =머리만 좋게 만들면) 어떻게든 문제가 풀리더라는건 이제는 확신이다. 올해 하루가 멀다하고 쏟아지는 Generative AI의 성과들은 모두 초거대 모델에 기반한 성과들이다.


2. 이렇게 초거대 모델이 중요해질 수록, 이를 위한 초거대 인프라, 즉 아직도 금붕어 머리에 머물러있는 AI반도체들을 어떻게든 엮어서 돌고래 머리로 만들어야 하는 숙제가 더욱 중요해진다.


3. AI 반도체 업계에서 2010년대 쏟아지던 1세대 AI반도체 업체들은 이제 기세가 완전히 꺾였다. Graphcore는 아시아시장에서 완전 철수했고, 회사 자체가 위태위태하고, 불과 1~2년 전에 수천억씩 투자받았던 Sambanova라던가 Groq이라던가 모두 매우 조용하다. 이들은 돌고래 머리에 대한 고민이 되어있지 않았다. 그나마 머리 크게 만든다고 떠들던 Cerebras의 경우에도, 고작 고만한 잉어 수준 일 뿐이고 이걸로는 택도 없다.


4. 실제로 최근 조금씩 모습이 드러나기 시작한 2세대 AI반도체들은 대부분 초대형 모델 training에 초점을 맞추고 있는걸로 보인다. Tesla의 Dojo를 비롯해서 Intel Havana의  Gaudi 2라던가 Jim Keller의 Wormhole / Blackhole 등등은 모두 개별 칩 단위가 아니고 수천개의 칩들을 어떻게 엮어서 초대형 cluster = 돌고래머리를 만들어볼것이냐에 고민의 핵심이 있다. 개인적으로는 당분간 2020년대의 AI반도체는 여기에 앙꼬가 있다고 생각한다.


6. 실제로 이 초대형 cluster를 위한 2세대 반도체들은 아직 초기다. 시장을 독주하고있는 NVIDIA의 경우에도 사실 그 network 구성이나 SW stack은 1세대 legacy가 그대로 남아있는 모습이고, 2세대 수요에 대응이 불충분하여 고객들이 고생 중이다. 다시 말하면 이 시장에서 제대로 된 아키텍쳐로 HW/SW를 만들어 내면 아직 기회가 있다.  

7. 그런데 문제는 한국의 AI반도체 scene에서는 이런 모습이 전혀 보이지 않는다는 점이다. 데이터센터용 AI반도체를 이야기하는데 training이야기나 cluster 이야기는 어느 곳에도 없고, inference라고 해도 과연 초대형 언어모델의 inference가 돌아갈 수 있을까 싶은, 금붕어도 아닌 올챙이 머리 수준의 반도체들을 가져다 놓고, 몇년 전의 NVIDIA 구형 GPU과 비교를 자랑한다. 심지어 AMD는 이런 작은 size inference는 시장이 없다고 보고 쳐다보지도 않는다. 큰 gap이 있다.


8. 지금 정부가 AI반도체 로드맵을 리드하고 있는데 뭐하는건지 잘 모르겠다. 현재 한국의 AI반도체 업체들이 내어놓는 chip들이 초거대모델의 training에서 사용될 가능성은 0%, inference에서 사용될 가능성도 10% 미만이라고 본다. (그나마 가능성은 네이버와 삼성이 최근 발표한 협업 결과물이라고 본다. 개인적으로 상당한 흥미가 있다.) 글로벌 수요시장의 방향과 한국 AI반도체 업계가 달리고 있는 방향은 상당한 gap이 있다. 여기서 방향을 다시 잘 잡아야 하는 타이밍이다. 여기서 늦으면 기회는 없다.

9. 여기서 걱정되는게 정부의 저 드라이브다. 글로벌 시장에서 필요한 물건을 만들면 되는데, 왜 정부가 나서서 뭘 만들지를 정해주나. 시장이 이미 완성되어서 뭘 만들면 될지가 정해진 영역이라면 모를까, 아직 시장이 조금씩 구체화되어가고 있고, 그 니즈를 맞춰보겠다고 Jim Keller 형님부터 글로벌 난다긴다 천재들이 모여서 이방향 저방향 백가쟁명을 벌이고 있는 상황인데, 이 방향을 정부가 찍어줘서 이게 글로벌 시장에서 답이 될 가능성은 높지 않을거 같다. PIM의 경우에도 학문적인 연구주제로는 좋은데, 학계의 한 가설에 그냥 몰빵하는 느낌이다.


10. AI도 중요하고 반도체도 중요한데, 그냥 뒤에서 도와주면 좋겠다.  아직 AI반도체시장은 어두운 새벽인데, 정부가 엉뚱한데다가 등대불을 비추고 있는게 아닌가 하는 우려가 있다. 이러다가 그나마 패기로 뛰어든 한국의 AI반도체 기업들이 길을 잃을까 심히 우려스럽다. 그냥 뒤에서 도와주면 느릴지언정 항구를 찾아갈거다.


출처 jihyo  lee님 글

https://zdnet.co.kr/view/?no=20221212113623#_enliple

국산 AI반도체로 데이터센터 채운다...'K-클라우드' 추진