돈되는 뉴스를 한곳에여의도뉴스서비스
⚠️ 주의사항 · 여의도뉴스서비스 및 여의도스토리는 유료회원 및 리딩방이 없습니다. 사칭에 주의하세요.
증권사자료

Nvidia, AI 메모리 풀스택 협업 설계 공개...HBM 용량 3% 증가로 Agent 처리량/달러 최대 30배 향상

HANAchina ↗ · 2026-11-06 05:34
>>Nvidia, AI 메모리 풀스택 협업 설계 공개...HBM 용량 3% 증가로 Agent 처리량/달러 최대 30배 향상 •Nvidia는 대규모 모델과 Agent 확산으로 메모리 부담이 커지고 있어 단순한 HBM 용량 확대만으로는 부족하다고 설명함. 모델 가중치가 HBM을 대량으로 차지하는 문제에 대응해 NVFP4 저정밀 포맷으로 가중치를 압축하고, NVLink를 통해 72개 GPU에 가중치를 분산하는 방안을 제시함. 또한 압축·계층형 오프로딩과 Vera CPU, Dynamo를 연계해 KV Cache의 메모리 부담에 대응하고, NeMo Retriever와 cuVS를 활용해 각각 벡터 데이터와 인덱스 저장을 최적화함으로써 RAG로 인한 메모리 부담을 완화 >英伟达详解AI内存全栈协同设计:HBM容量仅增3%,Agent吞吐量/美元最高提升30倍 https://wallstreetcn.com/articles/3785293#from=ios
wallstreetcn.com
华尔街见闻

외부 자료를 정리한 참고자료이며 투자 권유가 아닙니다. 기사·리포트의 저작권은 원저작자에게 있습니다. · 게시중단 요청

💬 댓글 0개

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

로그인 하면 댓글을 쓸 수 있습니다. 아직 회원이 아니면 회원가입

텔레그램 채널 댓글은 자동으로 옮겨 오며 작성자 이름 일부를 가려 표시합니다.