AI EXPOR KOREA 2025 특집 #1 - AI 인프라 업체 편

지난 5월 14일(수) - 16일(금)까지 코엑스에서 진행된 AI EXPO KOREA 2025 국제인공지능대전, 다녀오셨나요? 저도 평소 궁금했던 것들도 해결하고, 모처럼 서울 나들이도 갈겸 15일(목) 오후에 다녀왔는데요. 정말 간만에 사람들로 북적이는 오프라인 전시장을 다녀온 것 같습니다. AI에 대한 관심히 지대한 만큼, 관람객들도 엄청나게 많았고요. 우리나라에 AI 하는 기업들이 이렇게 많이 있구나라는 것을 여실히 느낀 자리가 아니었나 싶습니다.

그래서 이번 AI EXPO KOREA 2025 행사장을 둘러보고, 제가 인상깊게 봤던 기업들의 솔루션들을 간단히 정리해서 소개하는 시간을 가져보려고 합니다. 총 2개의 글로 나눴고요. AI 인프라, 그리고 AI 솔루션으로 나눠서 정리하겠습니다. 이번 글의 주제는 AI 인프라, 하드웨어에 대한 이야기고요. 목차는 아래와 같습니다. 

​

1. 드디어 실물로 보게 된 GPU 서버 

• ■NVIDIA GPU 서버

사실 이번 AI EXPO KOREA 2025 행사에서 가장 기대했던 것은 'NVIDIA의 GPU 서버를 직접 실물로 볼 수 있을까?' 였습니다. 그 동안 데이터센터의 랙에 꽂혀있던 HGX H100은 몇번 봤지만 멀리서 본거고, 이미 장착된 상태였기 때문에 자세히 살펴볼 수 없었거든요. 그래서 저를 비롯한 많은 분들이 아마 사진이나 영상으로만 접해보셨을겁니다. 그래서 부푼 기대를 안고 NVIDIA Elite Partner인 리더스시스템즈 부스로 갔습니다.

드디어! 마침내! NVIDIA GPU 서버가 보입니다. 저 멀리서도 확연히 보이는 DGX B200! 두근두근하며 부스로 다가갔습니다.

<NVIDIA DGX B200 전면>

큽니다. 커요. 진짜 거대합니다. 10U 크기라서 어마어마하게 큽니다. 저 거대한 몸체에는 NVIDIA B200 GPU 8개를 비롯해 Intel CPU와 메모리, 스토리지, 네트워크 카드, 냉각팬 등 다양한 제품이 들어있는데요. 크게 GPU 보드와 CPU 보드로 나눠져 있습니다.

<NVIDIA DGX B200 내부>

아쉽게도 리더스시스템즈 부스에는 DGX B200의 내부를 볼 수 없어 다른 NVIDIA 파트너 부스에서 발견하고 사진을 찍었는데요. 위와 같이 가장 많은 면적을 차지하고 있는 것은 B200 GPU 8개에 장착된 히트싱크 일체형 쿨러입니다. 방열판 높이가 엄청나죠? GPU는 SXM5 인터페이스로 보드에 직접된 형태이지만 그 위에 이렇게 거대한 쿨러가 장착된다고 도시면 되겠습니다. 그리고 그 아래쪽이 CPU 보드인데요. 좀 더 자세히 봅시다.

<NVIDIA DGX B200 CPU 보드와 스펙시트>

CPU 보드에는 Intel Xeon 프로세서 2개와 메모리, 스토리지, 네트워크 카드가 장책되어 서버의 가장 하단에 위치합니다. 

<NVIDIA DGX B200 스펙 시트, 클릭하면 커짐>

그래서 위와 같이 거대한 DGX B200을 구성하게 되고요. 자세한 스펙 시트는 위 사진을 참고해 주세요. 클릭하면 커지니 링크로 이동하셔서 자세히 살펴보시기 바랍니다. 인상적인 것은 필요 전략량이 무려 14.3kW입니다. 일반적인 데이터센터의 표준 랙에서 지원하는 용량이 2.2kW - 4.4kW 수준인 것을 감안하면 6배 이상 높은 전력이 필요한 건데요. NVIDIA DGX B200을 운영할 계획이 있는 기업이라면 이렇게 매우 높은 수준의 고전력을 지원하는 센터를 찾으셔야 할겁니다.

<NVIDIA GB200 슈퍼칩과 스펙 시트>

DGX B200 옆에는 NVIDIA GB200 슈퍼칩이 전시되어 있었습니다. B200과는 달리 NVIDIA가 직접 설계한 CPU, Grace CPU가 아래쪽에 있는 것을 볼 수 있는데요. 이 슈퍼칩 2개가 1개의 컴퓨트 트레이에 장착되고, 이 컴퓨트 트레이 18개가 랙에 꽂혀 GB200 NVL72를 구성합니다.(슈퍼칩 1개 당 Blackwell GPU 2개, 1개의 컴퓨트 트레이 당 Blackwell GPU 4개, 18개 컴퓨트 트레이 = Blackwell GPU 칩 72개, 그래서 NVL72)

• ■Intel, AMD GPU 서버

NVIDIA와 함께 떡상한 곳 중 하나인 Supermicro 부스에서 보하기 힘든 귀한 몸들을 영접했습니다. 바로 Intel Gaudi 3와 AMD Instinct GPU 서버인데요. Intel Gaudi 3가 장착된 서버부터 보시죠.

<Intel Gaudi 3 8개가 장착된 GPU 서버>

2024년 중반에 발표된 Intel Gaudi 3(가우디 3)는 NVIDIA H100의 대항마로 Intel이 내놓은 AI 가속기입니다. 실제 벤치마크에서도 H100보다 학습 및 추론 작업에서 앞서는 모습을 보여줬고 비용은 훨신 저렴해서 NVIDIA H100의 대안으로 손색이 없는 제품이긴 합니다만, 아쉽게도 시장에서 큰 반향을 일으키고 있지는 않은 것 같네요. Intel Gaudi에 대한 보다 자세한 내용은 다른 칼럼, 인텔의 AI 가속기를 파헤쳐봅시다! 에서 확인하실 수 있습니다.

아무튼, 이 AI 가속기를 8개 장착한 8U 짜리 서버를 Supermicro 부스에서 볼 수 있었습니다. 스펙 시트는 위와 같고요. Intel Xeon 6 P-코어 프로세서가 탑재된 것이 특징입니다. 앞서 보셨던 NVIDIA DGX B200의 프로세서는 이전 세대인 5세대 에메랄드 래피즈이지만 이 프로세서는 최신 Xeon 6 그래나이트 래피즈 프로세서로 CPU는 더 좋습니다. CPU는... 아쉽게도 GPU는 Gaudi 3보다 B200이 훨씬 성능이 더 높죠.

<AMD Instinct MI300A 탑재 서버와 스펙 시트>

AMD는 NVIDIA H100과 경쟁하기 위헤 Instinct MI300 시리즈를 발표합니다. 이 중 H100은 MI300X와 경쟁하며, HBM 메모리 용량이 H100의 80GB, H200의 141GB보다 높은 192GB인 것이 특징이죠. 그리고 NVIDIA의 GH100, Grace CPU + H100 GPU에 대항하기 위해 나온것이 위 사진의 MI300A입니다. AMD EPYC CPU와 GPU가 통합된 APU이고요. 위 사진의 서버는 4개의 APU를 탑재했고, 수랭 방식으로 동작합니다. 그래서 앞서 보셨던 DGX B200과 같은 거대한 방열판이 없어서 위와 같이 2U 높이로 서버를 제작할 수 있는 것이 특징입니다.

여기까지 NVIDIA, Intel, AMD의 GPU 서버들을 살펴봤고요. 이제 좀 다른 제품? 아니, 서비스를 살펴보러 가봅시다.

​

2. GPU 인프라 빌려드려요 - GPUaaS 

<이미지 출처 : 인공지능신문, 가산 AI 데이터센터 오픈 및 ‘GPUaaS’ 본격 출시...SKT, AI 인프라 시장 공략 가속>

앞서 보신 서버들을 자체 전산실이나 IDC에서 운영할 여력이 안되는 기업들은 보통 AWS, Azure, GCP같은 클라우드 서비스에서 GPU 자원을 빌려다 쓰죠. 그리고 또 다른 대안이 바로 삼성SDS, SKT 엔터프라이즈와 같은 대기업에서는 대량으로 NVIDIA H100과 같은 GPU를 확보해 자사 데이터센터에 설치, 그 GPU 자원을 외부 기업들에게 빌려주는 GPUaaS 서비스입니다. 이번 AI EXPO KOREA 2025에는 이런 GPUaaS를 제공하는 업체 두 곳이 부스를 운영했는데요. 특이하게도 이 둘의 서비스가 조금 다릅니다. 하나씩 살펴보시죠.

• ■글로벌 CSP 대비 최대 70% 저렴한 GPUaaS, Runyour AI

몬드리안AI는 2018년에 설립된 기업으로, 고객이 자사의 데이터를 활용해 AI를 연구할 수 있는 기반을 만들어주는 것을 메인 비즈니스로 삼고 있습니다. 이를 위해 다양한 자체 솔루션을 제공하고 있는데, Runyour AI라는 GPUaaS 서비스도 선보였고요. NVIDIA의 3세대 전 구형 모델인 V100부터 A100, H100까지 NVIDIA 데이터센터 GPU는 물론 RTX 3090, 4090과 같이 VRAM이 많아 소규모 기관에서 AI 연구용으로 수요가 꽤 높은 게이밍 GPU도 선택할 수 있습니다. 그리고 사용한 시간 만큼 비용을 지불하거나 월 단위 약정으로 더욱 저렴하게 이용할 수 있는 두 가지 과금 모델을 제공합니다. 

부스에서는 주요 특징으로 외산 클라우드 대비 최대 70% 저렴한 비용을 내세우고 있었는데요. 궁금증이 생겨서 부스 관계자에게 이것 저것 질문한 내용을 간략히 정리해 보겠습니다.

<이미지 출처: Runyour AI 홈페이지>

일단, Runyour AI는 CSP에서 GPU 자원을 빌려쓰는 것과 마찬가지로, 자원 공유형 서비스입니다. 내가 빌린 GPU 자원을 다른 사용자, 고객들도 접근해서 사용할 수 있다는 겁니다. 마치 웹호스팅 처럼요. 그리고 글로벌 95개 데이터센터와 계약해서 고객에게 저렴하게 GPU 자원을 빌려줄 수 있다고 강조했는데요. 즉, 자체 데이터센터에서 NVIDIA GPU를 확보해 서비스를 제공하는 SKT, 삼성SDS와는 달리, 다른 센터의 GPU 자원을 대량으로 계약해 고객에게 제공하는, 일종의 GPU 중개서비스라고 봐야합니다.

그럼, Runyour AI의 수익모델은? 타 센터에서 빌려오는 GPU 자원 요금과 고객에게 빌려주는 자원 요금의 차이를 수익으로 가져갑니다. 몬드리안 AI가 특정 센터에 대량으로 GPU 사용 계약을 체결하기 때문에 한 기업 혹은 소수의 사용자가 GPU 자원을 빌릴 때 보다 훨씬 더 저렴하게 빌릴 수 있습니다. 다른 나라의 센터 입장에서 Runyour AI는 GPU 자원을 빌려 쓸 고객을 대신 확보해 주는 리셀러나 마찬가지입니다. 고객이 GPU 자원을 빌려달라고 Runyour AI에 신청하면, Runyour AI에서 보유한 GPU 자원 중 현 시점 가장 저렴한 GPU 자원을 자동으로 선별해 고객에게 제공하는거죠.

<이미지 출처: Runyour AI 홈페이지>

때문에 고객은 GPU 자원을 저렴하게 이용할 수 있지만, 내가 사용하는 GPU 자원이 어느 나라 어느 센터에 위치한 자원인지는 알 길이 없습니다. 실제 어떤 로직으로 선별하는지는 물어보지 못했는데, 학습을 위해 많은 데이터를 업로드하고 다시 내려받는 등 In/Outbound 트래픽이 많이 발생하는 워크로드라면, 네트워크 성능에 따라 학습 및 추론 성과가 크게 달라질 수 있지 않을까 하는 걱정도 들긴 했습니다. 하지만, 그럼에도 불구하고 저렴한 금액, 그리고 내가 쓴 만큼 시간 단위로 책정되는 요금은 분명 강점이 될 수 있습니다. 

여기서 시간의 경우 그 자원을 언제부터 사용했는지가 아닌, GPU 자원을 할당받은 시점부터 카운트 된다고 합니다. 철저히 시간 기준으로 과금되며, 네트워크 상태 등에 따라 GPU 자원을 제대로 활용하지 못할 수도 있다는 점은 유념해야 겠습니다.

• ■다른 곳과 공유 없이 우리 회사만 쓰는 단독 GPU 서버, BARO SPACE

바로AI는 2019년에 설립되어 고객에게 AI 서버를 공급하는 비즈니스를 해왔는데요. 이 과정에서 고객들의 요구사항을 다양하게 수집하며 새로운 기회를 포착한 바로AI는 직접 자체 센터에서 GPU 서버를 설치, 이 자원을 고객에게 빌려주는 GPUaaS 서비스인 BARO SPACE를 올해 4월 런칭했습니다. 

<이미지 출처 : 바로스페이스 홈페이지>

바로스페이스의 특징은 크게 3가지로 요약할 수 있습니다. 첫 번째는 앞서 살펴보나 Runyour AI와는 달리 GPU 자원을 단독으로 빌린다는 것입니다. 우리 회사만 사용할 수 있는 GPU 자원을 서버 통째로 빌리는, 단독 서버 호스팅처럼 생각하시면 됩니다. 그래서 다른 고객이 접근하지 않기 때문에 성능이 저하될 일이 없습니다.

두 번째 특징은 NVIDIA H100 94GB GPU를 사용할 수 있다는 겁니다. 대부분의 GPUaaS는 H100 80GB 기본 모델을 제공하나 바로스페이스는 H100 NVL 94GB 모델을 선택해 사용할 수 있습니다. AI 모델 학습 및 추론에 있어 가장 중요한 스펙 중 하나는 메모리 용량입니다. 메모리 용량이 많아야 한 번에 올려서 활용할 수 있는 데이터의 양이 많아지기 때문이죠. 메모리 용량이 높을 수록 성능이 그만큼 더 잘 나오고, AI 학습 및 추론 시간을 단축시킬 수 있습니다.

세 번째는 비용이 최대 75%나 저렴하다는 것입니다. 2년 약정 시 1년차에는 사용 요금을 그대로 지불하고, 2년차 부터는 GPU 1개 기준 월 50만원만 지불하면 되는 비용 구조를 가지고 있어 2년치 비용으로 계산할 시 타사 대비 훨씬 저렴한 것이 특징입니다. 보다 자세한 내용은 아래의 바로스페이스 홈페이지에서 확인해 보세요.

• ●바로스페이스 자세히 보기

그럼 바로AI는 어떻게 이렇게 저렴하게 GPUaaS를, 그것도 단독 서버로, 유일하게 H100 94GB 모델을 제공할 수 있는 것일까요? 그 비밀은 뒤에서 다시 말씀드릴게요.

​

3. GPU 서버를 내 곁에 두자! 수냉 기반 GPU 서버 BARO AI POSEIDON(포세이돈) 

바로AI 부스에서는 바로스페이스 뿐만 아니라 실물 GPU 서버도 볼 수 있었습니다. 사실 바로AI의 비즈니스 시작은 바로 이 GPU 서버를 공급하는 것으로 출발했는데요. 부스에서는 NVIDIA의 최신 게이밍 GPU인 RTX 5090 4게를 장착 타워형 AI 서버, 그리고 H100 PCIe 4개를 장착한 랙형 AI 서버를 만나볼 수 있었습니다. 그런데, 이 서버들이 앞서 리더스시스템즈나 Supermicro 부스에서 만나본 GPU 서버들과 큰 차이가 있었으니, 바로 수냉 시스템을 차용한 서버라는 것입니다. 그래서 엄청 조용한 것은 물론, 거대한 방열판과 쿨러가 없어도 되니 높이도 낮습니다. 부스에서 본 서버의 사이즈는 NVIDIA DGX H100이나 HGX H100의 절반인 4U였거든요.

바로AI 부스에서는 포세이돈이라는 자체 GPU 서버 제품을 만날 수 있었는데요. NVIDIA가 직접 설계한 DGX H100, 그리고 Supermicro나 Dell Technologies, Lenovo, HPE같은 서버 제조사들이 제공하는 HGX H100 서버는 모두 공랭 방식의 랙서버 입니다. H100 GPU의 높은 발열을 잡기 위해 어마어마하게 큰 방열팬을 단 쿨러를 장착해야 하기에 크기도 최소 8U 이상이고요. 공랭이나 팬소음도 엄청나게 큽니다. 저도 H100이 8개 장착된 HGX H100 서버를 데이터센터에서 본 적이 있는데, 진짜 소음이 어마어마합니다.

그런데 사실, 이런 HGX H100 서버와 같은 공랭 방식 서버들이 아무리 시끄럽다 한들, IDC와 같은 외부 데이터센터에서 운영하면 소음은 별로 중요한 게 아닙니다. 아무리 시끄러워도 그건 센터 안에서나 시끄럽고, 센터의 문을 닫으면 밖에서는 조용하거든요. 그리고 이 센터는 우리 회사, 기관 안에 있는 것이 아닌 별도의 건물에 있죠. 아예 IDC처럼 장비가 멀리 있을 수도 있고요. 즉, 공랭이라 시끄러워도 상관없지 않냐라는 겁니다. 이런 궁금증이 들어서 부스 관계자에게 물어봤습니다. 수냉 방식을 사용하면 소음이 크게 줄고 크기도 작은 것은 잘 알겠지만, 어차피 외부 데이터센터에서 GPU 서버를 운영한다면 별다른 메리트가 없는 것 아니냐고요.

<이미지 출처: 바로AI, AI를 위한 서버·클라우드 올인원 인프라 BARO AI>

그런데, 그렇지 않았습니다. 애초에 타겟이 달랐던 겁니다. GPU 서버를 대량으로 도입해서 운영하는 곳은 여전히 공랭 방식의 GPU 서버를 외부 데이터센터에 두고 운영하겠죠. 게다가 GPU 서버에서 발생하는 엄청난 발열을 잡기 위한 항온항습 시설에도 많은 투자가 필요합니다. 이런 시설을 직접 갖추기 어려운 곳들은 보통 이렇게 전력과 냉방시설이 잘 갖춰진 코로케이션 센터를 이용하죠. 당연히 일반 IDC보다 비용이 훨씬 비쌉니다. 게다가 크기도 크니 랙에 차지하는 공간도 많아 상면 비용도 많이 듭니다.

하지만 포세이돈같은 수냉 방식의 서버는 발열을 수냉으로 잡아주니 서버 자체의 발열이 매우 낮습니다. 그래서 냉방 시설 투자 비용을 아낄 수 있죠. 크기가 작아 랙에 많은 서버를 설치할 수 있으니 고밀도 랙 시스템을 구성할 수 있어 상면 공간도 절약됩니다. 똑같이 코로케이션 센터에 입점하더라도 냉방 시설이 아주 빵빵하지 않아도 된다는 것이고, 랙 집적도 역시 높아 상면 비용을 아낄 수 있습니다.

<이미지 출처: 바로AI AI SERVER 홈페이지>

그리고 무엇보다 좋은 점은 워낙 조용한 탓에 GPU 서버를 곁에 두고, 즉 사무실이나 연구실에 직접 두고 사용할 수 있다는 겁니다. 발열과 소음 때문에 어쩔 수 없이 외부 데이터센터에서나 운영할 수 있었던 GPU 서버가 안방으로, 아니 내 책상으로 온 것이죠. 이게 생각보다 큰 메리트입니다. 외부의 데이터센터에 GPU 서버를 두게 되면 그 센터와의 네트워크 연결 성능도 신경써야 하지만, 내 곁에 두면 네트워크 성능으로부터 좀 더 자유로워집니다. 우리 회사, 연구소 네트워크 성능만 받쳐준다면, 외부의 센터와의 네트워크 연결로 인한 속도 저하는 신경쓰지 않아도 된다는거죠. 

그리고 직접 곁에 두고 장비를 사용하기에 관리 편의성도 대폭 증가합니다. 갑자기 GPU 서버가 재대로 작동을 안할 때 점검을 위해 외부 센터에 방문할 필요가 없을 테니까요. 이처럼 포세이돈은 소규모 사무실이나 연구소 같이 GPU 서버가 소량으로 필요한 곳에 아주 요긴하게 활용될 수 있습니다.

물론 수냉 방식이기 때문이 같은 사양일 경우 공랭 방식보다 40% 정도 비싼 비용을 감수해야 합니다. 하지만 기본 3년 A/S에 분기 별 1회 방문 점검, 자체 AI 소프트웨어 뿐만 아니라 고객이 바로 AI 연구를 시작할 수 있도록 고객이 필요로 하는 소프트웨어를 사전에 세팅해서 납품하는 서비스까지 제공되기에 타사의 기본 1년 A/S 및 기타 유상 서비스와 비교하면 크게 차이가 나지 않을 수 있습니다. 내 곁에 두고 GPU 서버를 진짜 전원만 키면 바로 사용할 수 있는 수준으로 납품받을 수 있다는 메리트는 제법 큽니다.

<이미지 출처: 헬로티, [헬로AI] ‘AI 인프라와 생태계’ 올바른 가치 전달하는 바로AI>

부스 관계자에 따르면 포세이돈은 현재까지 300개가 넘는 고객사를 확보했고 재구매율이 80%가 넘는다고 합니다. 그래서 또 물어봤습니다. 설립된 지 얼마 되지 않은, 이제 겨우 6년차인 기업이 어떻게 이렇게 빠르게 성장할 수 있었는지 궁금했거든요. 핵심은 바로AI 대표가 NVIDIA 전 지사장 출신이었다는 겁니다. NVIDIA 한국 지사장을 무려 13년이나 역임한 전 지사장이 바로AI를 창업했기에 NVIDIA Korea와의 관계가 무척 좋고, 덕분에 국내 그 어떤 기업보다 NVIDIA GPU 물량 확보에 강점이 있어 많은 고객들에게 GPU 서버를 공급할 수 있었다는 것이 핵심 경쟁력이었습니다.

물론 NVIDIA도 단순히 회사 대표가 전 지사장이라고 해서 GPU 물량을 잘 제공해 주는 것은 아니겠죠. 그만큼 바로AI에서 고객을 많이 발굴하고 사후 지원도 철저히 해서 고객의 만족도가 높기 때문에 안심하고 팍팍 밀어준 것이 아닌가 싶은데요. 어찌됐든 NVIDIA 한국 시장을 누구보다 잘 이해하고 있는 분이 설립한 기업이라는 점이 바로AI의 가장 큰 경쟁력이지 않나 라는 생각이 듭니다. 이를 바탕으로 NVIDIA GPU 물량 수급이 원활한 바로AI는 바로스페이스라는 자체 센터 기반의 GPUaaS 서비스를 고객들에게 저렴하게 제공할 수 있는 것이겠죠?

더불어 부스 관계자는 B200 GPU가 국내에 출시되면 아마도 가장 먼저 B200 탑재 서버를 바로AI 포세이돈에서 만나볼 수 있을 것이라 귀뜸했는데요. 최신 NVIDIA GPU 기반 서버를 자체적으로 곁에 두고 운영하고 싶은 분들은 바로AI 포세이돈을 검토해 보시기 바랍니다. 포세이돈이 전력 확보 면에서도 DGX H100, HGX H100보다 훨씬 용이할겁니다.

여기까지 AI 인프라를 살펴봤고요. 이제 이러한 AI 인프라 위에서 구동되는 AI 솔루션 기업들을 만나러 가볼 차례입니다. 사실 이 기업들이 이번 행사의 주인공이지 않나 싶어요. 대다수 기업들이 이 분야에 속한 기업들이었거든요. 그럼, 2편에서 뵙겠습니다.

끝!