새로운 GPU 기술로 AI 혁신을 준비하고 계십니까? NVIDIA의 B200과 GB200은 GPU 기술의 새로운 기준을 제시합니다.
이번 웨비나에서는 차세대 NVIDIA 기술의 스펙과 가능성을 소개하고, 엔터프라이즈 솔루션과 AI 구축을 위한 실질적인 가이드를 제공합니다.
또한 GTC 2025의 주요 세션을 미리 살펴보고, 등록 기회를 놓치지 않도록 안내해 드리겠습니다.
AI와 NVIDIA 생태계를 통해 미래를 준비하세요.
2025년 01월 22일 (수요일) - 웨비나 방송 중에 있었던 질문과 답변 입니다.
안녕하세요
안녕하세요 한국인프라 입니다.
안녕하세요
안녕하세요, 참석해 주셔서 감사합니다. 채팅은 왼쪽의 채팅창에서 부탁드립니다!
텍스트가 보이질 않습니다
안녕하세요, 불편을 드려 죄송합니다. 현재 채팅창과 질문창의 자동 스크롤 기능에 문제가 있는 것 같습니다. 수동으로 스크롤을 내려보시면 텍스트가 보일거예요. 웨비나 종료 후 수정하겠습니다.
[질문] 기존 GPU와 비교해 AI 워크로드 성능에 어떤 혁신적인 개선을 제공하며, 이를 활용한 엔터프라이즈 AI 구축의 핵심 이점은 무엇인가요
이전 세대 GPU보다 성능의 개선으로 볼수 있는데, 추론을 위해 FP4, GPU간의 통신속도 향상, 트랜스포머 엔진의 향상, 그리고 무엇보다는 GPU칩의 대폭적인 성능 향상을 하였습니다.
요즘 핫이슈인 SK하이닉스의 HBM3e가 B200, GB200에 들어가 있나요?
적용되어 있습니다.
[질문]앤비디아에서 독점 인공지능반도체 그랙픽을3년동안 반독주체제를 할수있는영업 비밀이무엇인지 궁금합니다 국내기업에서는 못하는 것인지 뒤처지는 일은 뭐때문지 궁금합니다
GPU 아키텍처에 대한 독점 기술이며, NVIDIA CUDA를 통한 GPU를 이용한 병렬프로그램이 AI 프레임워크이를 기반으로 하고 있습니다. AI생태계에 앤비디아의 기술력이 기반으로 하고 있으며, 성능향상을 위해 끊임없이 노력하고 있기 때문으로 여겨집니다.
[질문]오늘 트럼프가 발표한 AI 인프라 구축 사업에 5000억 달러가 투입 된다고 했는데 향후 NVIDIA 제품이 지속적으로 각광을 받을 가능성이 큰 건가요?
인공지능 관련하여 하드웨어나 소프트웨어는 NVIDIA 기술이 거의 모든 영역에서 적용되어 있기 때문에 지속적으로 각광을 받을 것으로 보입니다.
1.NVIDA AI 슈퍼칩인 GB200은 성능, 확장성,효율성 면에서 인텔,AMD등 경쟁사 대비 강점이나 특화된 기능은 무엇이 있는지요? 그리고 기존 모델에 비해 컴퓨팅, 메모리/네트워크 대역폭 등 AI 성능이 어느정도로 향상되었는지도 궁금합니다. 2.NVIDA GB200는 효율적인 대규모 AI 컴퓨팅을 위해 설계된것으로 알고 있는데 대량 AI 추론 및 AI 응용 프로그램 지원시 발열이나 소비전력같은 문제점이 없는지도 궁금합니다.
대량 AI 추론에는 많은 리소스가 필요하며 그에 따른 전력을 요구합니다. 발열은 필연적으로 발생되는데 발열을 GB200은 수냉식을 채택을 하고 있으며, 전력은 별도의 공급 가능한 환경 구성이 필요합니다.
3.NVIDA GB200 솔루션은 주로 어떤 종류의 AI 어플리케이션을 가속화할 수 있으며, 향후 플랫폼의 개발 방향성도 궁금합니다.
[질문]현재 블랙웰 발열 문제가 이슈 되고 있는데요, 시장 점유율이 언제쯤 정상적으로 나타날까요?
블랙웰은 칩이 크고 많은 트랜지스터를 포함하고 있기 때문에 발열은 필연적으로 발생됩니다. DGX B200에서는 공랭식으로 처리가 가능하며, DGX GB200에서는 수냉식 채택하고 있습니다. 현재 제품이 고객에게 공급되고 있습니다.
차세대 엔비디아 기술 스펙의 포커싱 주안점은 무엇이고, 향후 전략은 무엇인지 궁금합니다.
NVIDIA B200의 고속 데이터 처리 및 AI 워크로드 지원을 위해 어떤 아키텍처와 기술이 사용되었으며, 이를 통해 제공되는 최대 성능은 어느 정도인가요?
성능으로는 트레이닝에서는 FP8에서의 72 petaFlops, 추론에서는 FP4에서는 144 petaFlops를 지원합니다.
이전 세대 GPU보다 성능의 개선으로 볼수 있는데, 추론을 위해 FP4, GPU간의 통신속도 향상, 트랜스포머 엔진의 향상, 그리고 무엇보다는 GPU칩의 대폭적인 성능 향상을 하였습니다.
[질문]향 후 로봇이나 자율주행 사업에 있어서 어떤 제품이 지원이 되는지 궁금합니다.
차세대 로보틱스 및 엣지 솔루션에는 NVIDIA Jetson이 사용됩니다.
[질문] 추론 관련해서는 NVIDIA 장비가 크게 필요하지 않다는 이야기를 하는 곳이 있는데, NVIDIA에서는 어떻게 생각하는지 알고 싶습니다.
추론에는 NVIDIA의 고성은 GPU가 관여하지 않아도 됩니다. 추론용 GPU가 있기도 합니다. 다만 GPU 성능에 따라 다르기 때문에 고성능 GPU가 필요하기도 합니다.
NVIDIA Al Enterprise 서비스를 위한 DATACenter GPU 적용관련 이슈와 해결사례가 궁금합니다
[질문] 엔비디아 Omniverse는 메타버스 기반의 개방형 플랫폼이라고 하는데, 엔비디아 AI 플랫폼과 상호 지원하는 체계인가요?
Omniverse에서 AI 플랫폼을 지원하고 있습니다. Omniverse에서 생성형 AI를 적용하고 있습니다
[질문]향 후 GPU 대항마로 NPU가 부상할꺼란 시장 전망이 있었는데, 그에 대한 엔비디아의 대응은 어떤것이 있나요?
B200은 고성능 컴퓨팅 환경에서 에너지 효율성과 발열 관리를 어떻게 최적화하며, 이를 위해 채택된 혁신적인 기술이나 설계는 무엇인가요?
블랙웰에서는 GPU의 성능을 통한 에너지효율성 최대화 하였습니다. 발열은 필연적인 부분이며 DGX B200에서는 공랭식과 GB200에서는 수냉식을 채택하고 있습니다.
플랫폼에 생성형 AI와 LLM 오케스트레이션 기능, 합성 데이터 생성 기능등이 추가됨으로 인한 많은 데이터의 빠른 처리가 예상되는데, 플랫폼 도입시 성능(속도,부하 등)에 대한 부담은 없는지 궁금합니다. 그리고 백업 및 장애복구, 시스템 유지보수, 데이터 보호와 같은 기술적인 운용은 어떻게 이루어지도 궁금합니다.
NVIDIA에서 제공하는 플랫폼은 기술과 성능이 검증이된 안정된 솔루션입니다. DGX 서버에는 RAS라는 기능으로 서버의 안정적인 운영을 지원하고 있습니다.
[질문] 엔비디아 데이터센터의 전력 효율성을 높이기 위해 실행하는 기술은 어떤것이 있는지? 향 후 도입 예정인 기술이 궁금합니다.
[질문] B200 등을 구매 시, AI/ML 응용을 위한 API toolchain이나 low-level software library를 제공하나요?
NVIDIA DGX 에는 기본적으로 개발에 필요란 라이브러리를 지원하고 있는데 개발에 필요한 것들은 설치가 필요합니다.
[질문]기존 NVIDIA GPU로 AI 활용 중인 경우에 B200 등 새로운 제품으로 변경하기 전에 사전 주요 필요 검토 작업은 무엇인지요? 성능 최적화를 위한 디스크,램 등 변경은 어떻게 구성해야 하는지요?
현재는 B200이 DGX에 공급되고 있습니다. 성능개선이 필요하다면 DGX B200 활용 할 수 있으며, 전력에 공급에 대한 환경은 구성은 필요합니다.
대규모AI플랫폼등의 고속처리에 있어서 고성능스토리지가 필수인데 병목현상등을 최소화하기위한 네트워크전달구조 및 내부버스구조, 성능등이 궁금합니다....
DGX B200에서는 고성능 스토리지 연결을 위한 IB를 지원하고 있습니다.
[질문] 삼성의 HBM이 테스트를 통과하지 못해 납품이 지연되고 있다고 하는데 고대역폭 메모리에 어떤 문제가 있는 건지요?
2025년 NVIDIA의 주요 AI 전략은 무엇이며, B200, GB200 등의 GPU는 이러한 전략에 어떻게 부합하는 기능이나 서비스가 제공이 되나요?
DGX B200은 서버와 같이 단일 시스템이며, 멀티노드 연산 지원을 위해 고속 네트워크를 지원하고 있습니다. DGX GB200은 수조 개의 파라미터를 생성하는 AI 모델을 훈련하고 추론하기 위해 특별히 설계되었습니다.
[질문]열관리 문제로 서버 다운을 미리 예방할 수 있는 알림 기능 지원 같은게 있을까요?
모니터링 및 알람을 지원하고 있습니다.
차별화를 위해 NVIDIA가 선택한 핵심 키워드가 뭔지 궁금합니다.
[질문]오늘방송ppt다시보기 가능한지 궁금합니다
다시보기는 방송 종료 후 내일부터 기존 링크로 접속하시면 보실 수 있습니다. 쉐어드IT 웹사이트, Youtube 채널에서도 다시보기 영상 시청 가능합니다.
설문조사에서 자료 요청에 체크해 주시면 됩니다.
[질문]HBM 제품의 발열 문제 외 Tech가 올라갈수록 문제되는 부분은 어떤것들이 있나요?
[질문] 엔비디아가 GPU시장을 지속 장악하기위해 서버제품화 판매 외 개발중인 차기 요소기술에는 어떤 것이 있는지요?
[질문] 국내 사용기업도 구체적으로 알수있나요
[질문]엔비디아 제품에 메이커가 다른 HBM 제품을 혼용해서 제작하기도 하나요?
[질문] B200과 GB200 GPU가 AI 모델 학습 및 추론 성능에 미치는 영향은 무엇이며, 이를 통해 기업들이 AI 혁신을 어떻게 더 빠르고 효율적으로 실현할 수 있을까요
DGX B200은 서버와 같이 단일 시스템이며, 멀티노드 연산 지원을 위해 고속 네트워크를 지원하고 있습니다. DGX GB200은 수조 개의 파라미터를 생성하는 AI 모델을 훈련하고 추론하기 위해 특별히 설계되었습니다.
[질문]AMD 제품과 비교 시 엔비디아 제품이 어느정도 효율성을 가지는지 궁금합니다.
MIG 기능은 블랙웰 기반의 GPU에서만 적용된 기술인지와 사용하기 위해서 별도의 라이선스 등과 같은 충족요건이 별도로 존재하는지 궁금합니다
MIG는 이전 세대 암페어, 호퍼 아키텍처에서도 지원되었습니다 별도의 라이선스는 없으며, nvidia-smi 툴을 이용하시면 됩니다
B200의 도입을 고려할 때 하드웨어 또는 소프트웨어 측면에서 필요한 조건은 무엇인가요?
DGX B200은 OS및 소프트웨어서 설치된 어플라이언스 장비이며, 개발에 필요한 요소가 포함되어 있습니다. 다만 사용자의 개별적으로 필요한 프로그램은 설치할 수 하여 사용하시면 됩니다.
B200과 GB200 간의 적용기능중 최대 장단점등 궁금합니다
멀티인스턴스 GPU 사용시 56명이 가상화 통해 각각의 GPU인스턴스 생성 사용이 가능하다고 하는데, 최대 성능을 활용하기 위해 인스턴스 생성과 삭제시 고려할 사항이 있는지 운영자 관점에서 질문드립니다
MIG는 목적과 사용자에 대한 효율적인 GPU 자원 할당이므로, 작업별 GPU 자원리소스 인스턴스의 효율적인 할당에 대한 고려가 필할 것으로 보입니다.
[질문]HBM 시장 점유율을 보면 삼성 또한 높은데 엔비디아에는 납품을 하지 못하고 있습니다. 그렇다면 어디에 납품되어 사용되는 걸까요?
[질문]멀티인스턴스 GPU 사용시 56명이 가상화 통해 각각의 GPU인스턴스 생성 사용이 가능하다고 하는데, 최대 성능을 활용하기 위해 인스턴스 생성과 삭제시 고려할 사항이 있는지 운영자 관점에서 질문드립니다
MIG는 목적과 사용자에 대한 효율적인 GPU 자원 할당이므로, 작업별 GPU 자원리소스 인스턴스의 효율적인 할당에 대한 고려가 필할 것으로 보입니다.
[질문] 대부분의 사용자는 training보다는 inference에 집중하는데, 이를 위한 기능이 최적화되어 있는지 궁금합니다.. training은 어차피 데이터를 소유한 곳에서 실행할 것 같습니다.
NVIDIA NGC에서는 검증과 안정된 프레임워크를 지원하고 있습니다.
[질문] GB200 랙 발열문제 해결방안이 없는 건지요?
GB200 시스템은 수냉식 시스템으로 발열을 처리하고 있습니다. 수냉식을 공랭식보다 안정적으로 발열처리에 효과적입니다.
[질문]DGX B200은 개당 어느정도의 금액이며, 주 사용처는 어디인가요?
B200 등 금일 언급된 GPU는 A100 등 기존 GPU 등과 호환 및 같은 소켓이 적용되는지 여부 문의 드립니다
B200은 DGX 서버 제품에 지원하고 있습니다.
GB200이 AI 데이터 처리에서 제공하는 주요 성능 개선 사항은 무엇인가요?
GB200이 기반으로 하는 아키텍처는 어떤 특징을 가지고 있으며, 고성능 그래픽 처리 및 AI 가속을 위해 어떤 기술적 최적화가 이루어졌나요?
[질문] LLM추론을 위한 서버 도입 검토 과정에서, 엔비디아 '블랙웰'을 탑재한 서버 공급 업체들이 냉각 효율성 측면에서 각기 다른 성능 지표를 가지고 우수성을 입증하는 자료를 제시하는데 이들 자료에 대한 정확한 판단을 위해서는 어떤 내용들을 중점적으로 살펴봐야 하는지 문의 드립니다.
GB200은 데이터 집약적인 워크로드를 지원하기 위해 어떤 메모리 기술과 대역폭 최적화 방식을 채택했으며, 이를 통해 제공되는 성능 향상은 어느 정도인가요?
GB200은 딥러닝 외에 다른 컴퓨팅 영역 엣지 컴퓨팅 로봇 공학에서도 활용 가능할까요?
[질문] AI 사용을 위해서 고성능이 필요하다는 것은 모두 인지하지만실제적인 사용 결과 전,후가 궁금합니다.
[질문] AI 반도체 ‘GB200’은 작년 연말 처음 나왔을 때부터 발열 문제 이슈가 있었는데요. 각 주요 글로벌기업에서 주문에 대한 연기/변경을 진행한다고 하고 하는데, 실제 이런 문제들이 어떻게 진행되고, 어떻게 해결된 에정인지 Beyond 차원에서 이야기 부탁드립니다.
DGX OS는 별도 유지관리 등이 필요없는 것인지, 사용자가 관리해 주어야 하는 부분은 대표적으로 어떤 것이 있나요?
[질문] 해당 NVIDIA 플랫폼에 맞는 api, sdk, driver, lib 등을 제공하는지 궁금한데요. SW 개발측면에서 H/W 특성에 맞게 구조적인 변화가 필요한 부분이 있는지 궁금합니다.
[질문] 수냉식 구조의 시스템을 운용할 때 일반적인 공냉식 구조 시스템 대비 주의해야 할 부분이 무엇일까요?
[질문] 아키텍처 설명하시면서 발열 문제에 대해서도 발생 이유와 그래서 어떻게 배안을 세웠는지도 설명해주시면 좋겠습니다.
AI 혁신 B200, GB200 기능적 특장점은 무엇인가요?
중소기업이 AI 구축 초기 단계에서 DataCenter GPU를 효과적으로 활용할 수 있는 방법이 있을지요?
NVIDIA 데이터 센터 GPU는 NVLink와 같은 기술을 통해 멀티 GPU 환경에서의 확장성을 지원합니다. NVLink의 최신 버전이 제공하는 데이터 전송 속도와 이를 통해 달성할 수 있는 클러스터 성능 최적화는 어느 정도인가요?
[질문] superPod는 복잡한 문제를 병렬로 처리할 수 있는 장점이 있는데 그러면 시스템 확장면에서 몇대까지 연결이 가능하며 그 크기는 얼마나 되나요?
[질문]GB200 구입 후 향 후 제품이 출시되면 확장성은 어떻게 보장이 되는지 궁금합니다
새로운 아키텍처들이 등장하면 쿠다 라이브러리도 그에 맞춰 업그레이드 되는건가요? 이전 아키텍처들에서도 성능 개선이 있는지요?
[질문]적정 용량을 산정하기 위한 시뮬레이션 방법과 아키텍처 구성과 관련된 스토리지 및 네트워크 구성과 관련된 도움을 받을 방법이 있을까요?
[질문]망분리체계에서 해당기술구현시 물리적 고려사항이 있나요?
[질문] 컴퓨터 하드웨어와 소프트웨어가 발전함에 따른 과거의 하드웨어 집적도와 공간비는 어느정도나 축소가 되었는지요?
[질문] CPU와 GPU를 넘어 엔비디아는 스토리지의 수명을 증가시킨기 위한 DPU제품을 만드는 것으로 알고 있는데 DPU가 AI에 최적한 것으로 아는데 NVIDIA DGX SuperPOD에도 DPU가 포함되어 있는것인지요? GPU와 DPU의 비교도 부탁합니다.
GPU별로 특화된 기능이나 서비스 영역이 있는지요? A GPU는 생성형 AI특화, B GPU는 비전, NLP 전용 등등
[질문] 제조업에서도 AI, 디지털 트윈 시뮬레이션과 같은 신기술을 활용하여 제조업의 생산성 향상과 공정최적화에 이용하려는 시도가 많아지고 있습니다. 하지만 이를 수행하기 위해선 무엇보다 다양하고 수많은 데이터를 빠르게 처리할 수 있는 능력과 다양한 네트워킹 지원, 보안강화를 대비한 빠른 인라인 데이터 암호화같은 성능이 필요합니다. 그런 점에서 NVIDIA에서 제시하는 데이터센터 시스템들은 타메이커 대비 어떤 특장점이 있는지 궁금합니다.
[질문] B200과 BG200의 주요 차별화 포인트는 무엇인가요?
엔비디아 AI 인프라 선택시에 각 상황 및 용도별로 적합하거나 추천되는 도입 가이드나 구축 사례가 별도로 지원이 되고 있는지, 관련 시뮬레이션 도구 등이 제공되는지 문의 드립니다
[질문] B200/BG200에 특화된 개발 도구나 소프트웨어가 제공되나요?
수고하셨습니다. 감사합니다~~
[질문] AI를 구현하는데 있어서 CPU만 으로 시스템을 구성하는 것 대비 CPU와 GPU를 같이 사용해서 시스템을 구성하는 것이 어느 정도 효율이나 성능이 좋은지요?
유익한 정보 감사합니다.
감사합니다.
[질문]B200과 GB200 관련 병렬 명령어 처리와 업무 및 사용자 관리 관련 최적화 방안은 어떻게 세워야 하는지요? 도입 전에 사용 스펙과 업무 활용에 대한 검증은 어떻게 시뮬레이션해야 하는지요?
좋은 정보 감사합니다. 수고하셨습니다.
넵, 참석해 주셔서 감사합니다.
스고하셨어요
참석해 주셔서 감사합니다!
수고하셨습니다
감사합니다. 수고하셨습니다.