이 PC에서도 알림 받기관심종목·키워드 소식과 운영자 공지를 크롬·엣지 알림으로 받아요. 언제든 「내 정보」에서 끌 수 있어요.
증권사자료
Nvidia, AI 메모리 풀스택 협업 설계 공개...HBM 용량 3% 증가로 Agent 처리량/달러 최대 30배 향상
>>Nvidia, AI 메모리 풀스택 협업 설계 공개...HBM 용량 3% 증가로 Agent 처리량/달러 최대 30배 향상
•Nvidia는 대규모 모델과 Agent 확산으로 메모리 부담이 커지고 있어 단순한 HBM 용량 확대만으로는 부족하다고 설명함. 모델 가중치가 HBM을 대량으로 차지하는 문제에 대응해 NVFP4 저정밀 포맷으로 가중치를 압축하고, NVLink를 통해 72개 GPU에 가중치를 분산하는 방안을 제시함. 또한 압축·계층형 오프로딩과 Vera CPU, Dynamo를 연계해 KV Cache의 메모리 부담에 대응하고, NeMo Retriever와 cuVS를 활용해 각각 벡터 데이터와 인덱스 저장을 최적화함으로써 RAG로 인한 메모리 부담을 완화
>英伟达详解AI内存全栈协同设计:HBM容量仅增3%,Agent吞吐量/美元最高提升30倍 https://wallstreetcn.com/articles/3785293#from=ios
wallstreetcn.com
华尔街见闻
외부 자료를 정리한 참고자료이며 투자 권유가 아닙니다. 기사·리포트의 저작권은 원저작자에게 있습니다. · 게시중단 요청