[다시보기] 인텔® Gaudi® 3 AI 가속기 웨비나

안녕하세요.

오늘 지난주에이어 Intel Gaudi 3 Ai 가속기 내욤 기대합니다 도입검토시 대략적인 비용과 타사대비 최대 장단점등 궁금합니다

엔비디아 H100보다 추론 성능 50% 더 뛰어나다는 기사를 본적이 있는데요. 추론성능 향상으로 얻을 수 있는 베네핏과, 추론성능 말고 다른 것들에 대한 차이점이 어떻게 되는지 말씀 부탁드립니다.

현재 실제적으로 어느 분야에서 활발하게 적용되어 사용되고 있으며, 도입시 가장 큰 효과를 볼수 있는 분야는 어디라고 말할수 있습니까?

[질문] Gaudi® 3의 주요 아키텍처 개선 사항은 무엇인가요?

(질문) 최근 AI 모델은 플러그인을 통해 다양한 데이터 및 플랫폼과 결합하여 활용 범위를 확장하고 있어서. 단순한 질문-답변 시스템을 넘어서 추가적인 기능을 제공하고 있습니다. AI 가속기는 어떤 방식으로 활용 범위를 제공하고 있나요?

가우디3는 기존 4세대 xeon cpu에서도 그 성능을 유감없이 발휘할수 있는지 궁금하고 xeon 4세대와 5세대를 같이 활용하는 경우와 xeon 5세대만으로 클러스터를 구성할 경우 성능차이가 많이 있는지 궁금합니다.

가우디 3가 엔비디아 H100대비 성능열위에 있는데 실사용 성능비교와 가성비면에서 어떤 장점이 있는지 궁금합니다

[질문] Gaudi® 3의 AI 워크로드에서의 성능 최적화 방법은 무엇이 있을까요?

현재 업계 동향 및 앞으로의 발전 방향에 대해서 문의드립니다

가우디3는 xeon 서버용 프로세서로만 연결할수 있는것인지 아님 pci-express 5.0 이나 그전 규격에서도 연결이 가능한지 궁금하고 가우디 3가 200Gbps 이더넷으로 연결된다고 아는데 pci-express 4.0에서도 그 속도가 나오는지요?

근래 출시한 서버용 CPU인 제온 6와 가우디3를 함께 사용시 어느정도 시너지 효과를 얻을수있는지 궁금합니다

요즘 AI가 대세인듯한데요. 그렇듯 여러곳에서 다양한 기술기술을 제공하고 있습니다. 그중 귀사에서 제공하는 AI를 대비한 가속기의 차별화된 장점이 있다면 무엇이 있습니까?

[질문]1.인텔® Gaudi® 3 AI 가속기는 성능, 확장성,효율성 면에서 엔비디아,AMD등 경쟁사 대비 강점이나 특화된 기능은 무엇이 있는지요? 그리고 기존 모델에 비해 컴퓨팅, 메모리/네트워크 대역폭 등  AI 성능이 어느정도로 향상되었는지도 궁금합니다. 2.인텔® Gaudi® 3 AI 가속기는 효율적인 대규모 AI 컴퓨팅을 위해 설계된것으로 알고 있는데 대량 AI 추론 및 AI 응용 프로그램 지원시 발열이나 소비전력같은 문제점이 없는지도 궁금합니다. 3.가우디 3 AI가속기는 상대적으로 낮은 가격에도 불구하고 시장의 반응은 미지수라고 보는 시각도 있는데 향후 플랫폼의 개발 방향성과 시장 파급효과도 어떻게 예상하는지 궁금합니다.

엔터프라이즈 AI 플랫폼에서 MLOPS 도입이 트렌드가 되고 있는데, 인텔에서는 어떤 옵션을 제안하시는지 궁금합니다. AWs에는 SageMaker가 대표적인데, 인텔은 AI 기반으로 구축시 어떤 조합으로 구성해야하는지, 제안 모델이 있다면 소개바랍니다

[질문] Gaudi® 3에서 지원하는 소프트웨어 스택 및 개발 도구는 무엇인가요?

[질문] Gaudi 2 대비 AI 워크로드에서 어떤 성능 개선이 이루어졌는지 구체적인 데이터를 알 수 있을까요?

NVidia의 CUDA와 같은 플랫폼을 제공하는지요? 지원 언어에 대해서도 설명해주세요

가우디3의 성능향상 텍스트 뿐만 아니라 이미지 음성 비디오 에도 적용이 되는지 궁금하고 요즘 LLM의 필수인 멀티모탈의 지원은 어느정도인지요?

대규모 언어 모델(LLM) 학습이나 추론 시 NVIDIA GPU 대비 Gaudi 3 어떤 강점을 가지고 있나요?

비용 측면에서 GPU와 Gaudi 3의 ROI는 어떻게 비교되나요?

Gaudi 3는 기존 GPU 대비 어떤 성능적 이점이 있나요?

AI 워크로드에서 Gaudi 3가 제공하는 효율성은 실제 사례에서 어떻게 나타나나요?

AI머신러닝을 위한 별도의 전용라이브러리가 제공되는지요?

각 도메인의 특수성이 존재해서 장비의 스펙도 중요하겠지만 H/W, S/W아키텍쳐 설계가 중요할 것 같은데요. 이러한 부분도 지원 가능하신지요?

Gaudi 3가 고성능 AI 연산을 위해 요구되는 시스템 환경은 무엇인가요?

기존 사용중인 GPU와 Gaudi3는 호환성이 어떻게 되나요? 전체 백본을 다 신규 셋업해야하는지요

Gaudi 3의 유사한 경쟁 제품들과의 차별화된 장점은 무엇인가요?

MIG로 논리적으로 나눠서 사용할 경우 권한 레벨을 주어서, 권한 레벨에 따라 가용 GPU 자원량을 줄이거나 늘려줄수 있습니까?

[질문] 1. "인텔® Gaudi® 3 AI 가속기를 도입할 경우, NVIDIA GPU 기반 시스템 대비 총소유비용(TCO) 관점에서의 이점은 무엇이며, 초기 구축 비용과 장기적인 운영 효율성 측면에서 어떤 차이가 있는지 구체적인 데이터를 기반으로 설명해 주실 수 있나요?" 2. "Gaudi® 3를 기반으로 구축된 AI 인프라에서 대규모 모델 학습(예: LLM) 또는 고도의 데이터 병렬 처리 워크로드 수행 시 발생하는 병목 현상이나 성능 한계는 무엇이며, 인텔의 기술 지원 및 에코시스템이 이를 어떻게 보완하는지 구체적으로 알려주시겠습니까?"

[질문] 1. "인텔® Gaudi® 3 AI 가속기를 도입할 경우, NVIDIA GPU 기반 시스템 대비 총소유비용(TCO) 관점에서의 이점은 무엇이며, 초기 구축 비용과 장기적인 운영 효율성 측면에서 어떤 차이가 있는지 구체적인 데이터를 기반으로 설명해 주실 수 있나요?"

GPT-3 매개변수 모델에서 실질적인 학습시간 단축효과와 빅데이터 처리에서 어느정도 개선점이 있는지 궁금합니다

[질문]2. "Gaudi® 3를 기반으로 구축된 AI 인프라에서 대규모 모델 학습(예: LLM) 또는 고도의 데이터 병렬 처리 워크로드 수행 시 발생하는 병목 현상이나 성능 한계는 무엇이며, 인텔의 기술 지원 및 에코시스템이 이를 어떻게 보완하는지 구체적으로 알려주시겠습니까?"

Gaudi 3는 어떤 AI 모델(에 최적화되어 있나요?

[질문] Gaudi® 3가 AI 훈련 및 추론에서 제공하는 주요 장점은 무엇인가요?

Gaudi 3의 데이터 병렬 처리 성능은 기존 GPU와 비교했을 때 어떤 차이가 있나요?

Gaudi3을 장착했을때 카드에 할당되는 BAR 갯수와 BAR당 요구되는 용량에 대한 정보를 받고싶어요.

가우디 3를 국내 시장에 출시할 주요 OEM 업체는 누가 있는지 궁금합니다

Gaudi 3에서 사용되는 네트워크 인터페이스는 어떤 기술적 특징을 가지나요?

AI 성능향상을 높이기 위해서 hw적인 gpu를 강화하는것이 우선인지 아님 AI 모델링을 선택하고 강화하는 sw의 선택이 우선인지 궁금합니다.

Gaudi® 3 AI 가속기를 도입하기 위한 컴퓨팅 환경과 필요 조건들은 어떤게 있을까요? 그리고 Gaudi® 3 AI 가속기를 한 대만 도입하는 것보다는 여러 대를 도입하는 것이 성능면에서는 더 나을텐데 가격과 성능비를 따졌을 때 사업장 규모에 따른 최적의 도입 수량은 대략 어느 정도인가요?

모델 학습 속도에서 Gaudi 3는 GPU 대비 몇 배의 속도 향상이 가능한가요?

비젼 데이터나 음성데이터에 대한 디코더나 인코더가 가우디3에 내장된것으로 아는데 이런 디코더가 가우디2와 비교해서 어떻게 향상되었는지요?

현재 실제적으로 어느 분야에서 활발히 적용되어 사용되고 있으며, 도입시 가장 큰 효과를 볼 수 있는 분야는 어디라고 할수 있습니까?

인텔 가우디 3의 안정성에 대하여 확인할 수 있는 실제 적용 사례가 궁금합니다.

[질문] Gaudi 3의 냉각 및 전력 소비 효율성은 어떤 차이가 있나요?

[질문] 특정 워크로드(예: AI, HPC, 클라우드 네이티브)에 최적화 된 부분이 있는지 궁금하고 기존 서버를 전환할 때 예상되는 주요 전환 비용과 ROI는 어떻게 변화가 될 수 있는지 궁금합니다.

[질문] 기업에서 Gaudi® 3 AI 가속기 활용 방법이 직접 구축 투자와 클라우드 방식이 있을거 같은데, 초기 투자와 확장 관점에서 어떤 장단점과 고려사항들이 있을지 궁금합니다.

작은 기업은 gpu의 비용감당이 되지 않아 요즘은 차라리 cpu를 이용해서 학습하는 방안을 고민하고 있는데 xeon 5세대와 가우디3를 함께 활용하면 sLLM인 경우에는 충분히 cpu만으로 커버할수 있을것 같은데 gpu를 활용해야 하는 경우도 있는지요?

[질문] Dell PowerEdge 서버는 실시간 데이터 처리 및 고성능 애플리케이션 지원 측면에서 차별화된 기능도 존재하는지요

[질문] AMD 5세대 EPYC 프로세서의 보안 기능(예: 메모리 암호화, Secure Encrypted Virtualization 등)이 Dell PowerEdge 서버의 보안 전략에 시너지 효과 주는 부분이 존재하는지 궁금합니다.

엔터프라이즈 레벨에서 Gaudi® 3 AI 를 어떻게 효과적으로 구축하고 관리할 수 있는지 외에 그럼 SMB(중소기업)의 경우에는 어떻게 관리할수 있을까요?

인텔의 ARC나 Flex, GPU MAX는 최대 성능을 내기위해 Resize BAR 활성을 필수로 요구하던데 Gaudi3도 동일하게 Resize BAR 활성화를 필수로 요구하나요?

[질문] AI 및 머신러닝 워크로드를 처리하는 데 어떤 독특한 기능을 제공하며, 기존 서버와 비교했을 때 어떤 효율성과 확장성을 기대할 수 있는지요

A사, N사와 유사하게 Gaudi 4개, 8개의 플랫폼 보드가 제공되는지요?

AI가속기가 포함된 인텔 PC에서 온디바이스AI 구현된 사례가 있는지요?

운영중에 발생했던 기술적인 이슈(실행,기능,속도 등)나 해결사례와 장애시 신속 복구 방안과 비용과 성능을 모두 만족시키는 운영관리 방안이 궁금합니다

가우디 3 가속기의 다음 모멘텀이 AI 및 고성능 컴퓨팅을 위한 인텔의 차세대 그래픽 처리 장치인 팔콘 쇼어로 갈것 같은데 관련 성능개선 및 기능은 어떻게 될지 궁금합니다

가우디3는 기존 64bit 연산을 하는 cpu에서 약간 등한시한 16bit, 8bit 연산을 향상시키는 로직이나 모듈을 장착하고 있어 작은 파라미터부터 큰 파라미터까지 성능저하없이 연산이 가능한지요?

Gaudi® 3 AI 가속기가 네트워크 장비에 장치에 탑재된 사례가 있는지요?

[질문] Gaudi® 3의 메모리 관리 및 데이터 이동 최적화 방식이 무엇인가요?

온디바이스 AI 형태의 인텔PC에서 인터넷통신이 안되어도 LLM사용이 가능한지 궁금합니다

데이터센터와 네트워크 엣지(edge) 운용환경에서 다양한 AI 추론 워크로드 성능을 측정한 지표가 있다면 어느정도 우수한 성능을 보였는지 답변주시면 감사하겠습니다. .

Gaudi 3는 AI 모델의 추론 작업에도 효과적인가요?

Gaudi 3는 중소기업이나 스타트업에서도 실질적으로 도입 가능한 가격대인가요?

외부 데이터를 수집하고 내부 데이터와 연계하여 발주예상수량을 예측하는등 인사이트를 제공하는 영역에도 사용될수 있는건지 Gaudi® 3의 메모리 관리 및 데이터를 통해 시스템으로 구현하는 영역인지 궁금합니다. 사람이 수집하던 외부데이터를 시스템으로 수집을 구현하려니 너무 어려움이 있더라구요

인텔 AI가속기가 장착된 노트북이 시중에서 판매되고 있나요?

가우디3로 300B 넘는 대규모 언어 모델을 처리할 때와 700억 개나 되는 매개변수를 가진 라마2를 학습할때 2가지 모두 처리속도나 처리량에 의해서 레이턴시 발생은 없는지요?

엔비디아 GPU와 비교했을 때 Gaudi 3가 제공하는 기술적 우위는 무엇인가요?

인텔이 Gaudi 3를 통해 목표로 하는 주요 시장은 어디인가요?

AI가 학습하고 처리하기 위한 많은 데이터의 양과 높은 속도를 처리를 위해 Gaudi3을 설계 요소는 어떻게 되는지요? 데이터 센터에서 확장의 개념으로 설계 접근이 가능한지요? 아니면 처음부터 다시 설계가 필요할지요?

Gaudi 3를 콘텐츠 제작 워크플로우에 적용한다면 어떤 이점이 있을까요?

TDP 가 높아 보이는데 Air Cooling 을 지원하나요? 아니면 Direct Liquid Cooling 을 지원하나요?

[질문] Gaudi® 3의 다중 노드 확장성과 네트워크 통합 기능은 어떤가요?

고성능임을 고려시 수냉식으로 시스템이 구성될것 같은데 데이터센터내 구축시 전용랙 및 냉각설비등의 투자가 필요한지 궁금합니다

기존 솔루션 사용자가 새로운 업무와 제품, 서비스를 개발하여 제조 및 서비스할 경우에 기업의 솔루션에 대한 업그레이드와 업데이트는 어떻게 지원 되는지요? 사용 비용 절감, 사용량 절감 등에 대한 시뮬레이션을 통해 개선안도 지원 가능한지요?

가우디가 경쟁사 대비 AI 가속 측면에서 어떤 이점을 보이고 있고, 가격적인 측면에서의 경쟁력도 확보가 된 것인지 궁금합니다

앤비디아는 밴더 종속성이 있고 hw를 구하기도 어려운데 만약 인텔이 앤비디아같이 되면 가속기 시장에서 앤비디아같이 밴더 종속성을 가지게 되는 구조는 아닌지 궁금하고 인텔의 hw 수급은 어느정도 기간을 두면 확보가 가능한지요?

가우디를 싱글로 사용하는 것과 클러스터를 구성해서 사용하는것의 성능차이가 궁금하고 클러스터를 최소로 구성하는 조건은 어떻게 되는지요?

가우디가 특히 강점이 있는 AI 분야는 무엇인지, 업무나 처리량 증가로 인해 추가 도입 필요시 확장 편의성은 어떠한가요?

Gaudi 3의 소프트웨어 스택은 사용자가 얼마나 쉽게 접근할 수 있도록 설계되었나요?

AI가속기의 경우 각 도메인의 특수성이 존재해서 장비의 스펙도 중요하겠지만 H/W, S/W아키텍쳐 설계가 중요할 것 같은데요. 이러한 부분도 지원 가능하신지요?

사용자가 기존 GPU 기반 시스템에서 Gaudi 3로 전환할 때 예상되는 마이그레이션 과정은 어떤가요?

AI 콘텐츠 제작에서 Gaudi 3의 성능이 기존 하드웨어와 어떤 차이를 보이나요?

Gaudi 3의 초기 시장 반응과 현재까지의 수요는 어떠한가요?

여러명의 담당자가 Gaudi® 3 을 사용하여 작업 등을 진행할 때, 관리자가 어느 계정에서 어느 소프트웨어를 어느정도의 컴퓨팅 자원을 사용했는지에 대한 전체적인 현황을 조회 가능한가요?

가우디3의 전력 소비는 가우디2와 경쟁 제품 대비 어느 정도 효율성이 확보되어 있는지 문의 드립니다

가우디3가 덜 쓰고 더 얻을 수 있는 아직 효율성있는 AI 가속기라고 생각되는데 그래서 가우디3의 저작권이 많아서 개방적이긴보단 폐쇄적으로 느껴져서 활용하거나 개발하기 어려운것은 아닌지 궁금합니다.

가속기 시장 공략을 위해 내놓은 가우디3 출하량을 대폭 하향것이라는 전망이 있는데 국내에서도 마찬가지인지 궁금합니다

(공개할 수 있는 데이터가 있으시다면), 네트워크 장비에서 가우디3 장착시에 퍼포먼스 차이에 대한 자료가 있는지요?

가우디를 구매하기 어렵거나 단기간 필요한 경우 임대 정책도 구비가 되어 있는지 궁금합니다

AI 환경에 최적화된 액셀러레이터처럼CPU, GPU, FPGA 및 기타 옵션에 이르기까지 새로운 니즈에 따라 유연하게 사용할 수 있는지요?

Gaudi 3의 소프트웨어 스택에서 FPGA 가속 또는 기타 하드웨어 모듈과의 통합 방안은 어떻게 이루어지나요?

Gaudi 3는 TensorFlow PyTorch ONNX 모델에 대해 어떤 수준의 자동 최적화 도구를 제공하는지요?

가우디3의 공급망에는 문제가 없을 것 같은데 가우디3가 tsmc 5나노 공정에서 제작된것으로 아는데 가우디3가 가우디2보다 성능향상이 많았는데 왜 4나노가 아니고 5나노 공정에서 제작을 하였는지 궁금하고 가속기의 최적 나노는 몇나노공정인지요?

Gaudi 3의 Tensor Core 설계는 기존 GPU 대비 어떤 차별화를 제공하나요? 이 설계가 특정 연산에 미치는 영향은 무엇인가요?

Gaudi 3는 InfiniBand 네트워크와 Ethernet 기반 네트워크에서 어떤 성능 차이를 보이며 이를 어떻게 최적화할 수 있는지요?

여러 밴더들이 그럼 제온 5세대와 가운디3를 활용해서 서버를 조립할때 유리기판과 liquid cooling을 기본적으로 적용하도록 하는 규약이 있는지 아님 밴더사 재량인지 궁금합니다.

16기가 램의 인텔PC를 여러 목적으로 사용하면서 인터넷 연결 없이 온디바이스 라마2 LLM설치해서 사용해본 결과 CPU 90%점유하는 상황인데요 AI가속기 비용을 고려하여 기존 PC에서도 경량화된 LLM구현을 하려고 하는데요 전문가별로 조언 부탁드려도 될지요?

수고하셨습니다

수고하셨습니다

수고하셨습니다!!!

수고많으셨습니다.

[질문] 유리기판에 장착할 가능성은 어느정도로 보면 될까요?