반응형
애플도 비밀무기 공개했네요
진짜 미국기업은 미친건가 ㄷ ㄷ ㄷ
미국경제가 망한다는건 쓸대없는 걱정일듯
우리나라같은 작은 시장에서 취업경쟁 하지말구
.... 똑똑한 사람들은 영어배운뒤
하루빨리 미국으로 넘어가서 경쟁하는 사람들이 늘길 바랍니다
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
애플 실리콘칩(M1, M2)에서 로컬 언어 모델을 엄청난 속도로 돌릴 수 있게 되었다.
(full metal support 되는 LLaMa.cpp가 나옴)
10시간전에 공개된 이후 사람들이 달려들어 시험해 보고 있는데, M2칩에서 약 RTX 4080 정도 성능이 나오는것 같다.
현재 4080 그래픽카드만 단독으로 $1,300 정도 하고 로컬로 설치하려면 부피도 엄청난데 이걸 맥북에서 가볍게 돌릴 수 있다는 말이다.
오늘 WWDC에서 발표가 예상되는 VR 헤드셋에는 M2 칩셋이 두개가 들어간다고 한다.
아직 M2칩은 M2 max까지만 공개되었고, 라인업상 M2 울트라가 남아있다.
애플은 무시무시한 회사다.
https://github.com/ggerganov/llama.cpp/pull/1642
(M2 Max에서 CPU 사용률 0%일때, 7B 모델 40 tok/s, 13B 모델 24 tok/s)
출처 https://m.facebook.com/story.php?story_fbid=pfbid028LkhegtRWZgaESyvjRShVdfRDjyiphxGU2j9WeB3GqFdv96f5TMHpPbwpQQf8xyYl&id=100001449881719&mibextid=Nif5oz
320x100
'그밖에 여러가지 이야기' 카테고리의 다른 글
| 우리나라에는 왜 피터틸같은 창업자, 투자자, 경영진이 없을까? (10) | 2023.06.07 |
|---|---|
| 일본정부와 도쿄전력은 후쿠시마 제1 원전의 방사능 오염수의 해양투기를 무기한 연기해야 한다 (32) | 2023.06.07 |
| KTX를 처음 탄 사람은 다들 한 번씩은 놀라거나 의문을 가지게 된다. (24) | 2023.06.05 |
| 젠슨 황은 AI가 모든 직업을 바꿀 것이라고 강조했다. (12) | 2023.06.04 |
| 전문가의 역할에는 해당 분야에 대한 사람들의 오해와 편견을 바로잡아 주는 것도 있다. (30) | 2023.06.03 |
