인텔은 8일, IBM 클라우드가 클라우드 서비스 제공업체로는 세계 최초로 인텔의 최신 AI 가속기인 인텔 가우디 3(Intel Gaudi 3)를 기반으로 한 상용 AI 서비스를 제공한다고 발표했다. 이번 발표는 인텔에게 있어 가우디3의 첫 대규모 상업 배포 사례이자, 고성능 AI 가속기 시장에 새로운 선택지를 제시하는 중대한 전환점으로 평가된다.
IBM 클라우드는 인텔과의 협력을 통해, 생성형 AI 워크로드를 보다 합리적인 비용으로 테스트하고 혁신하며 배포할 수 있는 기반을 마련했다. 이로써 기업 고객들은 고가의 특수 하드웨어 없이도 대규모 언어 모델(LLM)이나 검색 증강 생성(RAG) 등 복잡한 AI 작업을 실행할 수 있게 되었다.
시장조사기관 가트너는 2025년 생성형 AI 관련 전 세계 IT 지출이 6,440억 달러에 이를 것으로 전망하며, 이는 2024년 대비 76.4% 증가한 수치다. 생성형 AI는 전 산업 영역에 걸쳐 IT 지출을 견인하는 주요 기술로 자리매김하고 있으며, 이에 따라 AI 인프라 확보는 기업 생존 전략의 핵심 요소로 부상하고 있다.
그러나 대부분의 기업들은 고가의 특화된 AI 프로세서와 인프라 구축 비용으로 인해 AI 도입에 어려움을 겪고 있다. 인텔 가우디3은 이러한 기업들에게 개방형 개발 프레임워크를 기반으로 비용 효율적인 AI 연산 환경을 제공하는 솔루션으로 설계되었다. 특히 멀티모달 AI, 대규모 언어 모델 추론, 파인튜닝 등에 최적화되어 있으며, 인텔은 이를 통해 고성능 AI 역량의 보편화를 이끌겠다는 전략이다.
인텔 데이터센터 AI 전략 담당 사우라브 쿨카니는 “가우디 3가 IBM 클라우드에 도입됨으로써 기업 고객들이 생성형 AI 워크로드를 최적화된 성능으로 확장할 수 있는 기반이 마련되었다”며 “이번 협력은 AI 기술을 전 세계적으로 보다 쉽게, 그리고 효율적으로 구현하려는 양사의 공통된 비전의 결과”라고 밝혔다.
현재 IBM 클라우드는 금융, 의료, 생명과학, 공공 부문 등 규제 산업을 포함한 다양한 분야의 기업 고객들에게 서비스를 제공하고 있다. 은행과 보험사는 사기 탐지 및 고객 맞춤 서비스에, 의료기관은 신약 개발, 원격 진료, 실시간 환자 모니터링에 클라우드를 활용한다. 유통 업계 역시 이커머스 및 재고 관리 시스템을 클라우드에 통합해 운영 효율을 개선하고 있다.
가우디 3은 현재 독일 프랑크푸르트, 미국 워싱턴 D.C., 텍사스 댈러스의 IBM 클라우드 리전에 배포되어 있으며, IBM의 가상 프라이빗 클라우드(VPC) 기반 클라우드 가상 서버에서도 사용 가능하다. 2025년 하반기부터는 다양한 아키텍처에 대한 배포도 가능해질 예정이며, 레드햇 오픈시프트(Red Hat OpenShift)와 IBM 왓슨엑스(watsonx) AI 플랫폼에 대한 지원도 이르면 이번 분기 내로 시작된다.
IBM 클라우드 인프라스트럭처 서비스 총괄 사틴더 세티는 “AI 기술을 활용하려는 기업들에게 더 많은 하드웨어 선택지를 제공하고, 가우디 3을 통해 더 높은 성능과 비용 효율성을 실현할 수 있다”고 강조했다.
특히 인텔은 AI 워크로드에서의 성능과 가격의 균형을 맞추는 데 주안점을 두고 가우디 3을 설계했다. 시그널65(Signal65)가 인텔 의뢰로 실시한 AI 추론 벤치마크에 따르면, 가우디 3은 메타의 Llama-3.1-405B-Instruct-FP8 모델 실행 시 경쟁 제품 대비 92% 높은 비용 효율성을 기록했다.
비용 효율성은 동일 비용으로 더 많은 AI 연산을 수행하거나 동일한 연산을 더 낮은 비용으로 처리할 수 있는지를 판단하는 핵심 지표로, AI의 대중화 여부를 가늠하는 주요 기준 중 하나다. IBM의 Granite-3.1-8B-Instruct 모델 기준 소규모 워크로드에서는 초당 토큰 처리량이 경쟁 제품 대비 43% 높았고, Llama-3.1-405B-Instruct-FP8 모델을 대용량 컨텍스트 환경에서 실행할 경우에도 36%의 성능 우위를 기록했다.
이번 협력을 통해 인텔과 IBM은 고성능 AI 기술의 진입 장벽을 낮추고, 보다 많은 기업들이 생성형 AI 기반 서비스와 응용 프로그램을 도입할 수 있도록 생태계를 넓혀간다는 방침이다. AI 기술이 기업의 업무 프로세스 혁신과 고객 서비스 품질 향상에 실질적으로 기여할 수 있도록, 인텔 가우디 3은 중요한 하드웨어 플랫폼으로 자리매김하고 있다.