중국 인공지능(AI) 기업 문샷AI의 초거대 AI 모델 '키미(Kimi) K3'가 연산 효율을 크게 높였음에도 실제 구동에는 이전 세대보다 훨씬 많은 메모리 반도체가 필요한 것으로 분석됐다.
딥시크 등장 당시 확산했던 'AI 반도체 수요 둔화' 우려와 달리, AI 고도화가 오히려 고대역폭메모리(HBM) 등 메모리 시장에는 새로운 수요를 만들 수 있다는 분석이 나온다.
연합뉴스에 따르면 블룸버그 통신은 20일(현지시각) 키미 K3 공개 이후 반도체 관련 종목이 올해 초 딥시크 R1 출시 당시와 비슷한 조정을 받았지만, 두 모델의 기술적 특성에는 중요한 차이가 있다고 보도했다.
딥시크 R1은 AI 모델의 학습과 추론 비용을 크게 낮추며 적은 반도체 자원으로도 고성능 AI를 구현할 수 있다는 기대를 키웠다.
이에 AI 인프라 투자 규모가 예상보다 줄어들 수 있다는 우려가 확산하면서 엔비디아의 시가총액은 하루 만에 약 6000억 달러 증발했다.
반면 키미 K3는 연산 효율을 높이는 동시에 메모리 사용량을 크게 늘린 모델이라는 평가다.
키미 K3는 총 2조8000억개의 매개변수(파라미터)를 갖춘 거대 규모의 AI 모델이다.
특히 희소모델 구조를 적용해 연산 효율을 나타내는 희소 비율을 크게 높였다. 희소 비율이 높을수록 전체 매개변수 가운데 실제 연산에 활용되는 비중이 줄어들어 계산량은 감소한다.
이 모델을 실행하려면 2조8000억개의 매개변수 자체를 모두 메모리에 저장해야 한다.
블룸버그는 저정밀도 데이터 형식(FP4)으로 압축하더라도 약 1.4테라바이트(TB)의 메모리 용량이 필요하다고 설명했다.
이 정도 규모를 안정적으로 구동하려면 엔비디아의 최신 '블랙웰 GB300' 시스템 수준의 AI 랙 인프라가 필요하다는 분석도 내놨다.
블룸버그는 "2조8000억개의 매개변수와 100만 토큰의 컨텍스트 창을 갖춘 키미 K3는 이전 세대보다 훨씬 더 많은 메모리 용량을 요구한다"면서 "이는 SK하이닉스와 삼성전자 등 소수 기업이 주도하는 메모리 시장의 수요가 지속될 가능성을 시사한다"고 평가했다.
스미토모 미쓰이 DS자산운용 수석 포트폴리오 매니저 스탠리 탕도 메모리 업체들의 경쟁력이 당분간 이어질 것으로 전망했다.
그는 "공급업체가 제한적인 만큼 메모리 기업들이 반도체 산업에서 여전히 유리한 위치를 유지할 가능성이 높으며, 키미 K3와 같은 고성능 모델이 AI 에이전트 확산을 촉진할 경우 전체 반도체 수요도 줄어들지 않을 것"이라고 예상했다.
문샷AI는 오는 27일 키미 K3의 모델 가중치를 공개할 예정이다.
업계에서는 개발자들이 이 모델을 활용하기 시작하면 메모리 수요와 AI 인프라 요구 수준이 구체적으로 확인될 것으로 보고 있다.
딥시크 등장 당시 확산했던 'AI 반도체 수요 둔화' 우려와 달리, AI 고도화가 오히려 고대역폭메모리(HBM) 등 메모리 시장에는 새로운 수요를 만들 수 있다는 분석이 나온다.
연합뉴스에 따르면 블룸버그 통신은 20일(현지시각) 키미 K3 공개 이후 반도체 관련 종목이 올해 초 딥시크 R1 출시 당시와 비슷한 조정을 받았지만, 두 모델의 기술적 특성에는 중요한 차이가 있다고 보도했다.
딥시크 R1은 AI 모델의 학습과 추론 비용을 크게 낮추며 적은 반도체 자원으로도 고성능 AI를 구현할 수 있다는 기대를 키웠다.
이에 AI 인프라 투자 규모가 예상보다 줄어들 수 있다는 우려가 확산하면서 엔비디아의 시가총액은 하루 만에 약 6000억 달러 증발했다.
반면 키미 K3는 연산 효율을 높이는 동시에 메모리 사용량을 크게 늘린 모델이라는 평가다.
키미 K3는 총 2조8000억개의 매개변수(파라미터)를 갖춘 거대 규모의 AI 모델이다.
특히 희소모델 구조를 적용해 연산 효율을 나타내는 희소 비율을 크게 높였다. 희소 비율이 높을수록 전체 매개변수 가운데 실제 연산에 활용되는 비중이 줄어들어 계산량은 감소한다.
이 모델을 실행하려면 2조8000억개의 매개변수 자체를 모두 메모리에 저장해야 한다.
블룸버그는 저정밀도 데이터 형식(FP4)으로 압축하더라도 약 1.4테라바이트(TB)의 메모리 용량이 필요하다고 설명했다.
이 정도 규모를 안정적으로 구동하려면 엔비디아의 최신 '블랙웰 GB300' 시스템 수준의 AI 랙 인프라가 필요하다는 분석도 내놨다.
블룸버그는 "2조8000억개의 매개변수와 100만 토큰의 컨텍스트 창을 갖춘 키미 K3는 이전 세대보다 훨씬 더 많은 메모리 용량을 요구한다"면서 "이는 SK하이닉스와 삼성전자 등 소수 기업이 주도하는 메모리 시장의 수요가 지속될 가능성을 시사한다"고 평가했다.
스미토모 미쓰이 DS자산운용 수석 포트폴리오 매니저 스탠리 탕도 메모리 업체들의 경쟁력이 당분간 이어질 것으로 전망했다.
그는 "공급업체가 제한적인 만큼 메모리 기업들이 반도체 산업에서 여전히 유리한 위치를 유지할 가능성이 높으며, 키미 K3와 같은 고성능 모델이 AI 에이전트 확산을 촉진할 경우 전체 반도체 수요도 줄어들지 않을 것"이라고 예상했다.
문샷AI는 오는 27일 키미 K3의 모델 가중치를 공개할 예정이다.
업계에서는 개발자들이 이 모델을 활용하기 시작하면 메모리 수요와 AI 인프라 요구 수준이 구체적으로 확인될 것으로 보고 있다.