[다시보기] 기업을 위한 최적의 AI 전략과 활용 사례 Red Hat OpenShift AI 웨비나

안녕하세요!

안녕하세요 반갑습니다. 이곳은 질문창이며, 추후 질문이 있으시면 여기에 질문 남겨주세요!

OpenShift AI는 OpenShift 클러스터에 Add-On 형태로 배포되어, 클라우드 네이티브 환경에서 데이터 과학 및 MLOps 워크플로우를 효율적으로 통합할 수 있는 플랫폼을 제공합니다.

AI/ML의 성공은 단순한 기술 성능이 아니라, 실제 업무에의 적용성과 비즈니스 영향도까지 포함한 종합적인 평가로 검증해야 합니다.

OpenShift AI는 모델 학습과 추론 워크로드의 실시간 리소스 사용 패턴에 따라 Tekton, HPA/VPA, ModelMesh, GPU 스케줄링 등을 연계해 자동 확장함으로써, AI 서비스의 성능과 리소스 효율을 동시에 최적화합니다.

또힌 모델을 서빙을 위한 엔진이 포함되어 있어서 모델을 개발하고 배포하기 위한 모든 컴포넌트를 포함하고 있어서 각 엔지니어분들이 본연의 업무에 집중할 수 있도록 지원합니다.

Red Hat OpenShift AI는 기존 OpenShift가 제공하는 CI/CD 도구 Tekton(OpenShift Pipelines)를 활용하여 모델 재학습 과정을 자동화합니다.

기존 DevOps 파이프라인에서 운영하는 기반 시스템으로 MLOps 파이프라인을 자동화합니다. 또한 GitOps 및 CI/CD를 OpenShift AI 환경에서 안정적으로 운영하실 수 있게 통합적으로 검증된 버전과 오픈소스를 제공합니다.

모델의 버전관리를 할 수 있는 모델 레지스트리 기능이 현재 Tech Preview로 제공되고 있습니다. 또한 K8S 환경에서 사용가능한 오픈소스들 역시 연계가 가능합니다.

PyTorch, CUDA, TensorFlow, VSCode, RStudio 등의 개발 도구를 제공합니다. 뿐만 아니라 고객의 커스텀한 개발 도구도 등록하여 활용할 수 있습니다.

Red Hat OpenShift는 멀티클라우드 환경에 배포할 수 있어서 통합할 수 있는 플랫폼입니다. 그렇기 때문에 각 퍼블릭 클라우드의 가용성 및 상황에 따라 필요한 컴퓨팅 리소스를 적재 적소의 퍼블릭 클라우드를 기반으로 배포하여 운영할 수 있습니다.

CodeFlare와 Kuberay를 지원하고 있습니다. 그 외에 K8S 환경의 오픈소스 분산 프레임워크 역시 통합할 수 있습니다.

Red Hat OpenShift AI 자체는 AI/ML 워크로드 실행 및 MLOps 플랫폼이지, 코드 보안(static code analysis) 자체를 직접 수행하진 않습니다. 하지만 OpenShift AI는 보안 취약점 검사를 DevSecOps 흐름에 통합할 수 있는 구조를 갖추고 있습니다.

Red Hat OpenShift AI의 MLOps 파이프라인은 각 단계가 컨테이너 단위, 정확하게는 Pod 단위로 수행하게 됩니다.

Red Hat OpenShift AI는 단순히 오픈소스를 통합한것이 아니라 하드닝, 통합테스트, 보안조치 등을 거쳐서 고객에게 제공됩니다. 또한 고객의 필요시에 따라 온프레미스 형태로도 운영할 수 있어서 데이터 거버넌스가 중요한 프로젝트 및 고객은 온프레미스 환경에서도 사용하실 수 있습니다.

A/B 테스트는 OpenShift/Kubernetes 환경의 Service 기반으로 제어가 가능합니다. 또한 OpenShift Servicemesh를 통해서 Canary 배포 방식도 역시 지원합니다.

OpenShift CronJob을 통해서 스케줄 기반으로 사용하실 수 있습니다. 또한 Red Hat Ansible Automation Platform의 Event Driven Ansible 기능을 활용한다면 특정 이벤트가 발생하였을때 작업을 수행할 수도 있습니다.

완전한 온프레미스로 구축이 가능합니다. OpenShift AI를 운영하기 위해 Red Hat OpenShift 플랫폼이 필수적이고, 모델 및 데이터를 저장할 Object Storage도 권장됩니다.

기술 스택의 복잡성도 상당한 도전과제였습니다. IBM Granite와 OpenAI ChatGPT라는 서로 다른 LLM을 통합해야 했고, RAG 시스템 구축을 위해 VectorDB와 GraphDB를 활용해야 했습니다. 이 모든 것을 Kubernetes 환경에서 운영해야 했기 때문에 복잡도가 높았습니다. 다행히 OpenShift AI가 제공하는 통합 개발 환경과 MLOps 기능을 활용해 효과적으로 관리할 수 있었습니다. 조직 문화 측면에서도 변화가 필요했습니다. 기존의 개별적인 개발 방식에서 벗어나 JupyterLab, Git, CI/CD 파이프라인 등을 활용한 표준화된 프로세스로 전환해야 했습니다. 팀원들이 새로운 도구와 워크플로우에 적응하는 데 시간이 필요했지만, 점진적으로 안정화되었습니다.

저희가 Red Hat OpenShift AI를 도입하면서 가장 어려웠던 부분은 기술적 의사결정이었습니다. 가장 큰 고민은 "Enterprise AI/ML 플랫폼을 사용할 것인가, 아니면 개별 도구들을 조합해서 사용할 것인가"였습니다. 정보보안, MLOps 자동화, 확장성, 운영 안정성, 개발 일관성, TCO까지 정말 다양한 요소들을 고려해야 했습니다. 처음에는 개별 도구 조합이 유연해 보였지만, 장기적으로 봤을 때 통합과 유지보수에 필요한 노력을 고려하면 플랫폼이 더 적합하다는 결론을 내렸습니다.

OpenShift AI 도입 후 가장 눈에 띄는 변화는 모델 개발 주기의 단축이었습니다. 기존에는 개발 환경 구성부터 모델 배포까지 각 단계마다 별도의 도구를 사용하고 수동으로 연결해야 했는데, 이제는 통합된 플랫폼에서 일관된 워크플로우로 진행할 수 있게 되었습니다. 특히 MLOps 파이프라인 자동화를 통해 모델 학습, 검증, 배포 과정이 크게 간소화되었습니다. 이전에는 모델을 프로덕션에 배포하는 데 일주일 이상 걸리던 작업이 이제는 2-3일 내에 완료됩니다. 컨테이너 기반 환경 덕분에 개발에서 운영으로의 전환도 매우 원활해졌습니다. 운영 효율성 측면에서는 리소스 활용도가 크게 개선되었습니다. Kubernetes의 자동 스케일링 기능을 활용해 필요에 따라 컴퓨팅 자원을 탄력적으로 운영할 수 있게 되어, 유휴 자원은 줄이면서도 피크 시간대에는 충분한 성능을 확보할 수 있었습니다. 또한 통합 모니터링 시스템을 통해 모델 성능과 시스템 상태를 실시간으로 파악할 수 있어, 문제 발생 시 대응 시간도 현저히 단축되었습니다.

AI 할루시네이션 문제는 저희가 시스템 구축 시 가장 중요하게 다룬 과제 중 하나였습니다. 특히 기업 환경에서는 잘못된 정보 생성이 치명적일 수 있기 때문에 체계적인 검증 프로세스를 구축했습니다. 먼저 측정 방법으로는 정답이 명확한 테스트 데이터셋을 구성해 모델의 응답 정확도를 정량적으로 평가했습니다. 사실 확인이 가능한 질문들에 대한 응답을 분석하고, 생성된 내용이 실제 데이터와 얼마나 일치하는지 검증했습니다. 또한 도메인 전문가들이 직접 모델 응답을 검토하는 정성적 평가도 병행했습니다. 해결 방안으로는 RAG(Retrieval-Augmented Generation) 시스템을 적극 활용했습니다. VectorDB와 GraphDB에 신뢰할 수 있는 내부 문서와 검증된 데이터를 저장하고, LLM이 응답을 생성할 때 반드시 이 데이터베이스를 참조하도록 설계했습니다. 이를 통해 모델이 학습 데이터에만 의존하지 않고 실제 문서에 기반한 답변을 생성하도록 유도했습니다. 추가로 응답 생성 시 신뢰도 점수를 함께 제공하도록 하여, 불확실한 정보에 대해서는 사용자에게 명확히 알려주는 방식을 채택했습니다. 정기적인 모델 성능 모니터링과 피드백 루프를 통해 지속적으로 할루시네이션 발생률을 개선하고 있습니다.

Kubernetes/OpenShift 환경의 PV/PVC를 통해 스토리지를 연결할 수 있고, S3 스토리지의 경우에도 역시 Connection란 것을 생성하여 활용할 수 있습니다.

OpenShift AI를 도입하면서 가장 큰 변화는 AI 개발팀이 인프라 의존도를 크게 줄일 수 있었다는 점입니다. 기존에는 개발 환경 구성이나 GPU 자원 할당, 네트워크 설정 등을 위해 인프라팀과 지속적인 협의가 필요했는데, OpenShift AI의 셀프서비스 기능 덕분에 개발자들이 직접 필요한 환경을 구성하고 관리할 수 있게 되었습니다. 플랫폼이 제공하는 템플릿과 자동화된 워크플로우를 활용해, AI 개발자들이 JupyterLab 환경을 즉시 생성하고 필요한 컴퓨팅 리소스를 직접 할당받을 수 있었습니다. 모델 학습에 필요한 GPU 자원도 웹 인터페이스를 통해 간단히 요청하고 사용할 수 있어, 별도의 인프라 전문 지식 없이도 개발에 집중할 수 있었습니다. 특히 컨테이너화된 환경과 GitOps 방식의 배포 프로세스 덕분에, AI 개발팀이 직접 모델을 패키징하고 배포까지 수행할 수 있었습니다. CI/CD 파이프라인도 플랫폼에서 제공하는 기능을 활용해 개발팀이 자체적으로 구성했습니다. 물론 초기 플랫폼 구축과 기본 인프라 설정은 전문팀의 도움이 필요했지만, 일단 환경이 구축된 후에는 AI 개발팀이 독립적으로 전체 개발 라이프사이클을 관리할 수 있었습니다. 이로 인해 개발 속도가 향상되고 팀 간 의존성으로 인한 병목현상이 크게 줄어들었습니다.

애플리케이션의 빌드배포 과정의 단순 반복적인 작업을 자동화 하듯이, AI 모델 개발간의 단순 반복적인 작업(모델 학습, 모델 배포, 모델 저장 등)을 자동화 할 수 있습니다.

저희는 실제로 10명 내외의 팀으로 AI 서비스를 개발부터 운영까지 전체적으로 소화하고 있습니다. OpenShift AI 같은 통합 플랫폼을 활용하면 대규모 조직 없이도 충분히 엔터프라이즈급 AI 시스템을 구축하고 운영할 수 있다는 것을 경험했습니다. 중견기업 입장에서는 먼저 핵심 역량을 갖춘 소규모 팀을 구성하는 것이 중요합니다. 저희 팀의 경우 AI/ML 엔지니어, 데이터 엔지니어, 백엔드 개발자로 구성되어 있으며, 각자가 여러 역할을 겸하고 있습니다. 플랫폼이 많은 인프라 작업을 자동화해주기 때문에 전담 인프라 엔지니어 없이도 운영이 가능했습니다. 준비 측면에서는 기술 역량보다 학습 의지와 협업 문화가 더 중요했습니다. 팀원들이 새로운 플랫폼과 도구에 빠르게 적응하고, 서로의 영역을 이해하며 협력하는 자세가 필수적입니다. 특히 개발자들이 MLOps 개념을 이해하고 GitOps 기반의 워크플로우에 익숙해지는 것이 중요합니다. 또한 단계적 접근이 효과적입니다. 처음부터 모든 기능을 활용하려 하지 말고, 작은 파일럿 프로젝트부터 시작해 점진적으로 확장하는 것을 권합니다. 저희도 처음에는 간단한 모델 하나로 시작해서 현재의 복잡한 멀티 LLM 시스템까지 발전시켰습니다.

OpenShift AI가 직접 사용하는 base 모델을 가지는 것은 아닙니다. 기업에서 사용하는 범용적인 AI모델을 효율적으로 사용하도록 지원하고 있습니다.

Red Hat OpenShift AI는 별도로 내장하고 있는 AI 모델이 있지는 않습니다. 사용자가 다양한 오픈 소스 모델 혹은 상용 모델을 가져와서 실행/학습 및 배포 할 수 있도록 설계된 MLOps 플랫폼입니다.

Red Hat OpenShift AI의 가장 큰 차별점은 엔터프라이즈 환경에 최적화된 통합성과 유연성입니다. 다른 플랫폼들이 특정 클라우드 벤더에 종속적이거나 제한된 도구만 지원하는 반면, OpenShift AI는 하이브리드 클라우드 환경에서 자유롭게 운영할 수 있습니다. 온프레미스, 프라이빗 클라우드, 퍼블릭 클라우드를 넘나들며 일관된 경험을 제공한다는 점이 큰 장점이었습니다. 오픈소스 기반이라는 점도 중요한 강점입니다. 벤더 종속성 없이 다양한 ML 프레임워크와 도구를 자유롭게 선택하고 통합할 수 있었습니다. TensorFlow, PyTorch, Scikit-learn 등 원하는 프레임워크를 제약 없이 사용하면서도, 통합된 MLOps 파이프라인의 이점을 누릴 수 있었습니다. 보안과 거버넌스 측면에서도 차별화됩니다. 기업 환경에서 요구되는 엄격한 보안 요구사항과 컴플라이언스를 충족하면서도, 개발자 생산성을 해치지 않는 균형을 잘 맞추고 있습니다. 특히 민감한 데이터를 다루는 프로젝트에서 역할 기반 접근 제어와 감사 로그 기능이 매우 유용했습니다. 무엇보다 Kubernetes 네이티브 환경이라는 점이 큰 강점입니다. 이미 Kubernetes를 사용하고 있던 조직이라면 기존 인프라와 운영 노하우를 그대로 활용할 수 있고, 컨테이너 기반의 확장성과 이식성을 자연스럽게 확보할 수 있습니다. 이는 장기적인 기술 전략 측면에서 매우 중요한 이점이었습니다.

Red Hat OpenShift AI의 강력한 장점 중 하나는 오픈소스 생태계를 자유롭게 활용할 수 있다는 점입니다. 모델의 공정성과 편향성 검증을 위해 다양한 오픈소스 도구들을 플랫폼 내에서 직접 통합하여 사용할 수 있습니다. 예를 들어, Fairlearn이나 AI Fairness 360 같은 오픈소스 라이브러리를 JupyterLab 환경에 설치하고 즉시 활용할 수 있었습니다. 이러한 도구들을 통해 모델의 예측 결과가 특정 그룹에 대해 편향되지 않았는지 정량적으로 측정하고, 필요시 모델을 재조정할 수 있었습니다. 플랫폼이 특정 도구를 강제하지 않기 때문에, 프로젝트 특성에 맞는 최적의 도구를 선택할 수 있는 자유도가 높았습니다.

저희의 경우 PoC에서 본격적인 운영까지 약 6개월 정도 소요되었습니다. 처음 2개월은 PoC 단계로, 단일 모델을 활용한 간단한 시나리오로 플랫폼의 기능을 검증했습니다. 이 기간 동안 팀원들이 OpenShift AI 환경에 익숙해지고, 기본적인 MLOps 파이프라인을 구축하는 데 집중했습니다. 다음 2개월은 파일럿 단계였습니다. PoC에서 검증한 내용을 바탕으로 실제 업무에 적용할 수 있는 수준으로 확장했습니다. 이 시기에 IBM Granite와 OpenAI ChatGPT를 통합하고, RAG 시스템의 기초를 구축했습니다. 동시에 CI/CD 파이프라인을 정교화하고 모니터링 체계를 확립했습니다. 마지막 2개월은 프로덕션 준비 단계였습니다. 성능 최적화, 보안 강화, 확장성 테스트 등을 진행하면서 운영 환경에 필요한 모든 요소들을 점검했습니다. 특히 VectorDB와 GraphDB를 활용한 고도화된 RAG 시스템 구축과 다중 모델 오케스트레이션 구현에 시간을 투자했습니다. 전체적으로 보면 플랫폼이 제공하는 템플릿과 자동화 기능 덕분에 예상보다 빠르게 진행할 수 있었습니다. 특히 개발 환경 구성이나 배포 프로세스 구축에 소요되는 시간이 크게 단축되어, 실제 AI/ML 로직 개발과 최적화에 더 많은 시간을 할애할 수 있었던 것이 주효했습니다.

저희가 구축한 MLOps 파이프라인은 크게 데이터 처리, 모델 학습/관리, 서빙, 모니터링의 네 가지 핵심 구성요소로 이루어져 있습니다. 데이터 파이프라인에서는 OpenShift AI의 데이터 사이언스 파이프라인 기능을 활용했습니다. Kubeflow Pipelines 기반으로 데이터 수집, 전처리, 특성 추출 과정을 자동화했습니다. 특히 RAG 시스템을 위한 문서 처리와 벡터화 작업을 파이프라인으로 구성해, 새로운 데이터가 들어오면 자동으로 VectorDB와 GraphDB에 저장되도록 설계했습니다. 모델 관리 측면에서는 Model Registry를 통해 버전 관리를 체계화했습니다. IBM Granite와 OpenAI ChatGPT 모델의 파인튜닝 버전들을 추적하고, 각 버전의 성능 메트릭을 함께 저장했습니다. A/B 테스트를 위한 모델 버전 관리도 이를 통해 수행했습니다. 서빙 자동화는 OpenShift AI의 모델 서빙 기능을 최대한 활용했습니다. KServe를 통해 모델을 REST API로 자동 배포하고, 오토스케일링을 설정해 트래픽에 따라 자동으로 확장되도록 구성했습니다. 멀티 모델 서빙을 위해 모델 앙상블 기능도 활용했는데, 이를 통해 여러 LLM의 응답을 조합하여 최적의 결과를 제공할 수 있었습니다. 모니터링은 Prometheus와 Grafana를 통합하여 구축했습니다. 모델의 추론 속도, 정확도, 리소스 사용량 등을 실시간으로 추적하고, 이상 징후 발견 시 자동으로 알림을 받도록 설정했습니다. 특히 모델 드리프트 감지 기능을 추가해 성능 저하를 사전에 파악할 수 있었습니다.

기존 OpenShift Data Science을 보다 발전시켜서 Red Hat OpenShift AI 명칭으로 변경되었습니다.

오프라인 환경에서도 OpenShift AI 구축 및 운영이 가능하고 기반이 되는 OpenShift의 경우에는 많은 국내 기업의 오프라인 환경에서 안정적으로 운영중에 있습니다.

저희 경험상 5-6명이 최소 인력이라고 봅니다. 실제로 저희는 10명 내외로 운영하고 있지만, 핵심 역할만 놓고 보면 더 적은 인원으로도 가능했습니다. 필수 인력 구성은 이렇습니다. AI/ML 엔지니어 2명이 모델 개발과 최적화를 담당하고, 데이터 엔지니어 1명이 데이터 파이프라인과 RAG 시스템의 데이터 처리를 맡았습니다. 백엔드 개발자 2명은 API 개발과 시스템 통합을 담당하면서 동시에 MLOps 파이프라인 구축도 함께 수행했습니다. 추가로 1명이 모니터링과 운영 업무를 전담했습니다. 중요한 건 각자가 여러 역할을 수행할 수 있어야 한다는 점입니다. 저희 팀의 경우 AI 엔지니어가 데이터 전처리도 할 수 있고, 백엔드 개발자가 간단한 모델 배포도 처리할 수 있었습니다. OpenShift AI가 많은 작업을 자동화해주기 때문에 이런 멀티롤이 가능했습니다. 초기에는 5-6명으로 시작해서 서비스가 안정화되고 규모가 커지면서 점진적으로 인력을 추가하는 것이 현실적입니다. 저희도 처음에는 6명으로 시작했다가 서비스 고도화와 운영 안정성 강화를 위해 현재 규모로 확대했습니다. 플랫폼의 자동화 기능을 잘 활용하면 소규모 팀으로도 충분히 엔터프라이즈급 AI 서비스를 개발하고 운영할 수 있다는 것이 핵심입니다.

싸이웰시스템은 다양한 AI 솔루션 및 서비스를 준비하고 있으며, 이 모든 솔루션과 서비스 개발에 대한 인프라를 OpenShift AI를 활용할 예정입니다.

그만큼 세션 내용이 좋아서이지 않을까 싶네요. 시청해 주셔서 감사합니다. 설문조사에 꼭 참여 부탁드립니다!