AI Everywhere, 이제는 AI의 지속가능성도 챙겨야 할 때

AI의 핵심 역할은 데이터를 이해하고, 이를 바탕으로 실질적인 가치를 창출하는 것입니다. 이걸 가능하게 하는 두 가지 핵심 단계가 바로 AI 학습(Training)과 AI 추론(Inferencing)이죠. 그런데 이 둘을 혼용해서 사용하는 경우가 많습니다. 어떤 기사에서는 AI 반도체의 처리 속도가 엄청 뛰어나다고 하는데, 학습 성능인지 추론 성능인지 명확하게 밝히질 않아 더 헷갈리는 경우도 있죠. 그렇다면, AI 학습과 AI 추론은 어떻게 다를까요? 간단히 정리해 보겠습니다.

• ■AI 학습 : 데이터를 통해 배우는 과정

AI 학습은 데이터를 기반으로 모델을 개발하고 최적화하는 단계입니다. 이 단계는 기계 학습과 딥러닝 알고리즘으로 이루어져있는데, 여기서 기계 학습은 컴퓨터가 데이터에서 스스로 패턴을 찾아내는 과정을 의미합니다. 예를 들어, 이미지를 학습시키는 경우 색상, 모양, 가장자리 등의 특징을 분석하여 이미지를 분류할 수 있는 모델을 만드는거죠. 여기에는 군집화(Clustering), 회귀 분석(Regression), 신경망(Neural Networking) 등 다양한 알고리즘이 사용됩니다.

AI 모델은 데이터를 통해 무엇을 학습해야 하는지 '배우는 법'을 학습하며, 이 과정을 통해 특정 과제를 해결하는 능력을 얻습니다. AI 학습을 위해서는 먼저 데이터를 준비해야 하죠. 데이터는 크고 복잡할수록 모델의 정확도와 성능 향상에 기여하지만, 동시에 더 많은 계산 자원이 필요합니다. 그래서 많은 글로벌 빅테크 기업들이 AI 학습을 위해 고성능의 GPU 서버와 스토리지로 구성된 AI 인프라 구축에 투자를 아끼지 않고 있는거죠.

데이터가 준비됐다면, AI 모델은 그 데이터를 분류하고 패턴을 인식할 수 있도록 특정한 특징(feature)을 추출합니다. 이 과정에서 사용되는 신경망 모델은 학습 데이터를 활용해 반복적인 계산을 수행하며 최적의 가중치를 찾아내는데요. 이 작업을 원활하게 수행하기 위해서는 수천 개의 프로세서를 갖춘 AI 가속기와 같은 특수 하드웨어가 필요하며, 지금까지는 보통 정부 기관이나 대규모 연구소, 또는 빅테크 기업만이 감당할 수 있었습니다. 

그런데 문제는, AI 모델을 학습시키는 데 필요한 컴퓨팅 파워가 약 3~10개월마다 두 배로 증가하고 있다는 것입니다. 이는 단순히 데이터가 많아져서도 있지만, AI 모델이 점점 더 정교해 지면서 더 많은 계산을 요구하기 때문입니다. 그래서 AI 모델이 발전할수록 AI 학습은 시간이 오래 걸리고 비용이 많이 드는 과정으로 간주되고 있죠. 이 시간을 줄이기 위해 대규모 AI 인프라에 투자하는 것이라고 보면 됩니다. 이제 AI 학습이 무엇이고 어떤 것들이 필요하며, 어떤 과정을 거쳐 진행되는지 아시겠죠?

• ■AI 추론 : 학습된 모델의 응용 단계

AI 추론은 학습을 마친 모델을 활용해 새로운 데이터에 대한 결과를 도출하는 단계입니다. 학습이 '배움'에 집중한다면, 추론은 '적용'에 집중한다고 할 수 있죠. 이 AI 추론 단계부터 AI가 비즈니스와 일상생활에서 진가를 발휘하게 됩니다.

그렇다면 AI 추론 단계에서는 어떤 일들이 벌어질까요? AI 추론은 학습된 모델을 기반으로 새로운 데이터에서 빠르고 효율적인 의사 결정을 내리는 과정입니다. 그래서 AI 학습보다 상대적으로 적은 연산 자원을 필요로 하며, 실시간으로 작동할 수 있는 것이 특징이죠. 예를 들어, 자율주행차는 주변 환경 데이터를 AI 모델로 분석하여 즉각적으로 방향을 변경하거나 속도를 조절할 수 있습니다. 그리고 제조 공정에서 AI 추론 모델은 결함 있는 제품을 감지하고 바로 문제를 해결할 수도 있을겁니다.

• ■AI 학습 vs AI 추론 간단 요약

이제 AI 학습과 AI 추론이 어떻게 다른지 아시겠죠? 두 과정의 특징을 간단히 표로 정리하면 아래와 같습니다.

따라서, AI 학습과 추론은 서로 구분할 것이 아니라, 상호 보완적인 관계로 봐야합니다. 학습을 통해 정밀하게 설계된 AI 모델이 추론이라는 과정으로 실질적인 가치를 제공하며, 이 두 단계를 효율적으로 연결하는 것이 AI 기술 발전의 핵심이라고 할 수 있겠죠. 

그래서 이번 콘텐츠에서는 이 두가지 중에서 AI 추론쪽에 좀 더 집중해보려고 합니다. AI 학습 모델은 이미 글로벌 빅테크 기업들이 많이 발표했고, 기업은 자체적인 AI를 구현하기 위해 이러한 공개된 AI 모델을 가져다가 활용하면 되거든요. 그런데 그냥 단순히 AI 모델을 가져오기만 하면 바로 사용할 수 있을까요? 당연히 아닙니다. 그럼 무엇이 필요할까요? 어떤 하드웨어와 소프트웨어를 준비해야 할까요? Lenovo와 Intel이 협력해 제공하는 AI 맞춤 솔루션은 어떤 것들이 있고, 이것들을 활용해 우리 회사의 비즈니스와 업무에 어떤 도움을 줄 수 있는지 알아보겠습니다. 목차는 아래와 같습니다.

이 콘텐츠는 Lenovo의 지원으로 제작되었습니다.

[백서 다운로드 이벤트] "Lenovo 와 Intel이 제시하는 AI 인프라구축의 실용적 해법"

레노버의 백서를 통해서 실질적인 기업의 AI 인프라 구축을 위한 해법에 대해서 알아보세요.

  백서를 다운로드 해주신 모든 분들께 스타벅스 아메리카노 기프티콘을 드립니다!  

기간 : 2025년 2월 14일(금)까지

백서 다운로드 바로가기  

1. Lenovo와 Intel의 각기 다른 AI 솔루션

AI가 다양한 산업에서 핵심 기술로 자리 잡으면서, 이를 뒷받침할 수 있는 하드웨어와 소프트웨어 솔루션의 중요성이 점점 커지고 있습니다. Lenovo와 Intel 양사는 파트너십을 맺고 고성능 컴퓨팅, 엣지 컴퓨팅, 소프트웨어 생태계 전반에 걸쳐 기업이 AI 도입을 가속화하는 데 주력하고 있는데요. 그럼, 이들이 어떤 솔루션을 제공하고 있는지, 자세히 알아볼까요?

 1) 레노버의 AI 하드웨어 솔루션: ThinkSystem과 ThinkEdge

레노버는 AI 학습 뿐만아니라 AI 추론에 최적화된 하드웨어도 함께 제공합니다. 특히 데이터센터와 엣지 환경 모두를 지원하는 하드웨어 라인업으로 기업의 AI 도입의 장벽을 낮추는 데 기여하고 있는데요. 크게 Thinksystem, ThinkEdge로 나눌 수 있습니다. 하나씩 세부 내용을 살펴봅시다.

• ■ThinkSystem SR650 V3

ThinkSystem SR650 V3는 레노버의 최신 데이터센터 서버로, 5세대 Intel Xeon Scalable 프로세서를 탑재하여 AI 추론 작업에 최적화되어 있습니다. 특히 Xeon Scalable 프로세서에 내장된 AMX(Advanced Matrix Extensions)와 같은 내장 가속 엔진 덕분에 AI 추론에 필요한 매트릭스 연산을 도맡아 처리함으로써 프로세서의 AI 추론 성능을 구 세대 프로세서 대비 최대 14배나 높인 것이 특징입니다. 그리고, 이 성능은 6세대 Intel Xoen 6 P-Core 프로세서에서 더욱 향상되었죠.

이러한 강력한 매트릭스 엔진 덕분에 Intel Xeon Scalable 프로세서는 자연어 처리(NLP), 컴퓨터 비전, 추천 시스템 등 다양한 AI 워크로드에서 GPU의 도움이 없어도 높은 AI 추론 성능을 발휘할 수 있습니다. 그리고 성능뿐만 아니라 전성비도 좋아져 데이터센터의 에너지 효율성도 높였습니다. 

• ■ThinkEdge SE350 V2, SE360 V2

엣지 컴퓨팅은 데이터를 수집하는 장소에서 바로 분석할 수 있도록 해서 네트워크 지연(latency)을 줄이고, 기업이 빠르게 현장에서 바로 바로 결정을 내릴 수 있는, 실시간 의사결정을 가능하게 합니다. ThinkEdge SE350 V2와 SE360 V2는 Intel Xeon D 프로세서 기반으로 설계되어 엣지 환경에서도 고성능 AI 추론 작업을 수행할 수 있고요. 작은 크기와 낮은 전력 소비량 덕분에 다양한 환경에 배치할 수 있어, 제조 현장, 의료 장비, 소매업 등 실시간 데이터 처리가 중요한 산업에서 요긴하게 활용될 수 있습니다.

 2) Intel의 AI 소프트웨어 생태계 : OpenVINO와 oneAPI

AI 추론은 하드웨어 뿐만 아니라 이를 뒷받침해줄 수 있는 소프트웨어 생태계도 매우 중요합니다. Intel은 OpenVINO™와 oneAPI를 제공해 기업의 AI 추론 모델의 개발과 배포를 지원하며, 복잡한 AI 작업을 쉽게 빠르게 처리할 수 있도록 돕고 있는데요. 각각의 소프트웨어가 어떤 특징을 가지고 있는지 좀 더 자세히 살펴볼까요?

• ■OpenVINO : AI 추론을 위한 오픈소스 도구

<이미지 출처 : OpenVINO Blog>

OpenVINO(Open Visual Inference & Neural Network Optimization)는 Intel의 오픈소스 도구로, AI 모델 최적화를 지원하는 것을 주 목적으로 합니다. 가장 중요한 것은 xPU 아키텍처 지원인데요. CPU, GPU, FPGA 등 다양한 프로세서의 자원을 OpenVINO를 통해 AI 추론에 활용할 수 있습니다. 언급한 컴퓨터 비전이나 자연어 처리와 같은 AI 워크로드를 엣지 환경에서 쉽게 구현할 수 있도록 돕는 것이 OpenVINO의 핵심 가치라고 보시면 되겠습니다.

• ■oneAPI : Intel이 제공하는 AI 개발 통합 플랫폼

<이미지 출처 : Intel oneAPI Deep Neural Network Library>

oneAPI는 다양한 AI 워크로드를 통합 관리할 수 있는 개발 플랫폼으로, 딥러닝 추론을 가속시킬 수 있는 oneDNN(Deep Neural Network Library)을 제공합니다. 일반적으로 NVIDIA GPU를 활용해 AI 애플리케이션을 개발하기 위해서는 CUDA가 필요하죠. 그런데 NVIDIA GPU가 없어도 AI 추론을 활용할 수 있습니다. 그걸 도와주는 것이 oneAPI의 oneDNN이라고 보시면 되겠습니다.

2. AI 인프라도 구독제로? Lenovo TruScale

AI 도입이 빠르게 확산되면서 기업들은 이제 비용을 생각하기 시작했습니다. AI 인프라 구축과 운영에 너무 많은 돈이 드는 반면, AI 기반 비즈니스가 실제 기업에 당장 벌어다주는 이익이 크지 않기 때문이죠. 하지만 이렇게 ROI 측면에서 효율이 떨어짐에도 불구하고 AI에 대한 관심과 투자는 늘면 늘었지 줄어들 것 같지는 않습니다. 게다가 AI 인프라는 전력을 너무도 많이 소모해서 새로운 환경 문제로 떠오르고 있죠. 그래서 중요한 것이 AI 인프라 운영에 있어 비용 효율성과 지속 가능성을 고려해야 한다는 것입니다.

이에 대한 해결책으로 Lenovo가 내놓은 방안은 TruScale이라는 사용량 기반의 유연한 IT 인프라입니다. 기업은 초기 투자 비용을 줄일 수 있고 원하는 만큼 손쉽게 AI 인프라를 확장할 수 있죠. 동시에 인프라를 제공하는 Lenovo는 Intel과 함께 지속 가능한 AI 인프라를 구축하기 위해 다양한 노력을 하고 있습니다. 그 내용을 좀 더 자세히 살펴봅시다.

 1) Lenovo TruScale : 사용량 기반의 유연한 IT 모델

Lenovo TruScale은 기업이 AI 추론 및 데이터 처리 작업을 수행할 때 자본 지출(CapEx)을 최소화하고 운영 지출(OpEx)을 중심으로 IT 인프라를 구축할 수 있는 새로운 모델입니다. Lenovo TruScale의 특징을 크게 아래와 같이 두 가지로 정리해 보겠습니다. 

• ■비용 효율성

Lenovo TruScale을 통해 기업은 직접 고가의 AI 서버와 스토리지를 구매하지 않고, 사용량 기반(pay-as-you-go)으로 비용을 지불할 수 있어 초기 자본 지출을 크게 줄일 수 있습니다. 기업의 데이터센터에 Lenovo 하드웨어로 인프라를 구축하지만, 그 비용을 한번에 지불하는 것이 아니고 사용량을 기준으로 나눠서 지불한다는 개념입니다. 기업이 온프레미스 데이터센터를 운영하는 것과 비교해 비용 지불 방식만 다를 뿐이라고 이해하시면 됩니다. 

• ■유연하게 확장하고 간편하게 관리하는 인프라

기업은 Lenovo TruScale의 고정된 계약 옵션이나 소비량에 따라 얼마든지 사용량을 조정할 수 있어 기업의 비즈니스 성장 상황이나 추진하는 AI 프로젝트의 범위에 따라 인프라를 유연하게 줄이거나 확장할 수 있습니다. 게다가 인프라의 운영과 관리는 Lenovo가 알아서 해주니, 기업은 그 인프라를 활용하는 것에만, 비즈니스에만 집중할 수 있다는 것도 큰 장점입니다.

얼핏 보면 Lenovo TruScale은 퍼블릭 클라우드의 IaaS와 비슷해 보입니다. 하지만 분명한 차이가 있는데요. 그 내용을 간단히 표로 정리해 볼까요? 그럼 TruScale과 IaaS의 차이가 명확해질겁니다.

 2) 지속 가능한 AI 인프라 구축

AI의 발전과 함께 전력 소비와 탄소 배출 문제가 중요한 이슈로 떠오르고 있습니다. 구체적으로 AI가 야기하는 에너지 문제는 무엇인지, 그리고 Lenovo TruScale이 어떤 해결책을 제시하고 있는지 알아봅시다.

• ■AI 발전에 따른 에너지 문제

<이미지 출처 : the Climate Change AI community>

AI 모델 학습 및 운영은 대규모 전력 소비와 이로 인한 탄소 배출을 초래합니다. 한 연구에 따르면, 단일 AI 모델 학습으로 발생하는 이산화탄소 배출량이 약 626,000파운드에 이르며, Google의 검색 요청에 AI 모델을 추가할 경우, 연간 약 30테라와트시(TWh)의 전력이 소비될 수 있다고 합니다. 이 정도 전력은 아일랜드 전체의 에너지 소비량과 맞먹는다고 하는군요.

<이미지 출처 : voronoi by Visual Capitalist>

다른 연구를 보면, 한 대의 차량이 평생 배출하는 탄소 배출량은 63톤이지만 OpenAI의 GPT-3 모델은 502톤, Meta의 Llama 3는 무려 1,900톤에 달하는 탄소를 배출한다고 합니다. 지금은 AI 모델을이 더 비대해지고 성능이 올라갔으니 AI 학습에 다른 탄소 배출량은 훨씬 더 증가했겠죠? 이처럼 AI 학습을 위해 데이터센터에서 배출하는 탄소의 양이 어마어마하게 증가하고 있는 것이 AI 발전에 따른 혜택이 아닌, 반대급부의 결과물이라고 할 수 있습니다.

• ■Lenovo TruScale의 해결책

Lenovo TruScale은 앞서 언급한, 강력한 AI 가속 엔진을 탑재한 5세대 Intel Xeon Scalable 프로세서 기반의 서버를 제공합니다. AI 매트릭스 연산을 대신 처리해 주는 내장 엔진 덕분에, AI 추론에 있어 소비하는 전력량을 크게 줄일 수 있고요. Lenovo XClarity Energy Manager라는 도구를 통해 인프라에서 사용하지 않는 컴포넌트를 끄거나 전력 상태를 조정하여 전략 사용량을 최적화시킬 수 있습니다. 

그리고 Lenovo는 별도의 모니터링 도구를 사용해 데이터센터의 전력 소비와 탄소 배출량을 실시간으로 모니터링하여, 기업이 인프라 운영 비용과 환경적 영향을 효율적으로 관리할 수 있도록 돕습니다. 이를 기반으로, 데이터센터의 탄소배출량을 최대 20%나 줄일 수 있다는 것이 Lenovo의 연구 결과입니다.

3. Lenovo AI 솔루션 도입 사례

스포츠 이벤트에서 관람객 경험은 그 자체로 하나의 경쟁력이 됩니다. 단순히 경기를 보는 것을 넘어, 관람객이 느끼는 편리함과 즐거움은 경기장 운영의 핵심 목표 중 하나죠. 앞서 소개한 Lenovo의 AI 솔루션은 F1 경기장에 구축되어 경기장을 찾은 관람객의 F1 경험을 혁신하고 있습니다. 구체적으로 Lenovo AI 솔루션이 어떤 역할을 하고 있는지 알아봅시다. 

• ■F1 경기장이 직면한 문제점

<이미지 출처 : Circuit of The Americas>

미국의 F1 경기장인 Circuit of The Americas(COTA)와 같은 대형 스포츠 경기장에서는 수만 명의 관람객이 동시에 움직입니다. 그런데 입장부터 발생한 긴 대기열이 푸드코트 이용, 화장실까지 이어지며 주요 시설의 대기 시간이 늘어나 관람객의 불만이 점점 쌓여만 갔는데요. 게다가 경기장 관리자는 실시간으로 관람객 흐름을 파악하지 못해 신속한 대응도 어려운 것이 큰 문제였습니다. 그래서 COTA는 이러한 문제를 해결하기 위해 AI 기술 기반의 솔루션을 활용, 관람객 경험과 운영 효율성을 동시에 개선하고자 했습니다.

• ■AI 기반 실시간 데이터 분석 솔루션, WaitTime

<이미지 출처 : WaitTime Facebook>

WaitTime은 Lenovo ThinkEdge 서버와 Intel Xeon Scalable 프로세서를 기반으로 구축된 AI 기반 관람객 흐름 분석 솔루션입니다. 기장 곳곳에 설치된 18대의 카메라가 실시간으로 관람객 움직임을 모니터링하고 WaitTime의 특허 받은 AI 기술이 카메라 데이터를 처리하여 대기 시간과 관람객 밀집도를 분석하고요. 실시간으로 관람객 흐름 정보를 경기장 운영팀에 제공해서 이전보다 훨씬 빠르고 효율적인 대응이 가능해 졌습니다.

구체적으로 무엇이 나아졌는지 살펴보면, 관람객은 경기장 곳곳에 설치된 디스플레이에서 시설의 대기 시간을 확인하고, 혼잡하지 않은 곳으로 이동할 수 있게 되었습니다. 불필요한 대기로 인한 불만이 줄어들겠죠? 게다가 운영팀 역시 관람객의 밀집도가 높은 지역에 추가 인력을 배치하거나 관람객 동선 데이터를 기반으로 푸드코트 배치를 최적화했고요. 결과적으로 관람객은 대기 시간이 줄어들어 주요 시설에서 더 오래 머무르며 소비활동을 했고, 이는 그대로 경기장 운영 수익 증대로 이어졌습니다. 관람객도, 경기장 운영진도 모두 만족한 성공적인 솔루션 도입 사례라고 할 수 있겠습니다.

• ■사람이 모이는 곳이라면 어디든 활용 가능한 Lenovo + WaitTime AI 솔루션

<이미지 출처 : Feedxtreme.tv, WaitTime>

WaitTime 솔루션은 F1 경기장에만 국한되지 않고, 다양한 산업과 환경에서 활용될 수 있습니다. 대형 공연장, 축구 경기장 등에서도 앞서 살펴본 문제는 발생할 수 있죠. 공항, 쇼핑몰, 박람회와 같은 혼잡한 공공장소 역시 마찬가지 문제를 가지고 있습니다. 좀 더 범위를 넓혀서, 도시 전역의 관람객 및 시민 흐름을 분석하여 스마트 시티를 구현하는 데에 도움을 줄 수도 있겠죠? Lenovo의 엣지 컴퓨팅에 WaitTime과 같은 AI 기술이 만나면, 기업은 이제껏 당연시 여겼던 고객의 불편함을 해결하고, 추가 수익은 물론 운영 비용을 절감할 수 있을겁니다.

4. 결론: AI 인프라, 유연한 확장과 함께 지속 가능성도 고려해야

AI는 이제 단순한 기술을 넘어, 다양한 산업의 혁신과 경쟁력 강화를 위한 필수 도구로 자리 잡고 있습니다. 하지만 AI 기술의 도입과 확산을 위해 넘어야 할 두 가지 문제이 있는데요. 첫째는 비즈니스의 요구에 따라 유연하게 확장할 수 있는 인프라를 구축해야 하는 것이며, 둘째는 AI 기술이 환경과 에너지에 미치는 영향을 최소화하는 지속 가능한 방안을 마련하는 것입니다. 

Lenovo와 Intel은 이러한 두 가지 문제를 해결하기 위해 혁신적인 솔루션을 제공하며 AI 도입의 미래를 열어가고 있습니다. 그동안 AI 인프라 구축은 막대한 초기 투자와 복잡한 운영 요구로 인해 많은 기업에 부담으로 작용해 왔죠. Lenovo TruScale은 사용량 기반의 유연한 IT 인프라를 제공함으로써 기업의 AI 인프라 구축에 대한 경제적 부담을 크게 줄일 수 있습니다. 

Lenovo TruScale을 활용하면 기업은 자신들의 상황에 따라 유연하게 확장해 나갈 수 있게됩니다. 그리고, 앞서 살펴본 Intel의 최신 Xeon Scalable 프로세서로 GPU 의존도를 줄여 전력 소비량을 최소화하고, 다양한 인프라 모니터링 및 최적화 도구를 활용해 데이터센터의 에너지 소비량을 줄여나갈 수 있을 것입니다.

AI는 기술 그 이상의 가치를 지닌 새로운 패러다임입니다. Lenovo와 Intel이 선도하는 기술 혁신은 기업이 기술과 환경, 그리고 사회를 연결하는 새로운 방식을 발견하게 할 것입니다. 그 결과물이 기업의 데이터센터 운영 효율성 증대는 물론, 고객 만족도를 향상시켜 비즈니스 성과로도 이어질 수 있음은 앞서 보신 사례를 바탕으로 충분히 이해하셨으리라 생각합니다. 2025년 새해에 자체적인 AI 인프라 구축을 염두에 둔 기업의 IT 담당자 분들은 Lenovo의 AI 솔루션을 적극 검토해 보실 것을 추천합니다.

지금까지 소개한 내용의 보다 자세한 사항은 첨부된 백서에서 확인하실 수 있습니다. AI에 대한 기초 지식부터, 왜 AI가 업종과 분야를 막론하고 이렇게 확산되고 있는 것인지, 지속 가능한 AI 인프라 구축을 위해 무엇이 필요한지에 대한, 보다 실질적인 기업의 AI 인프라 구축을 위한 해법을 확인하실 수 있을겁니다.. 마침 이벤트도 함께 진행하고 있으니 많은 관심과 참여 부탁드립니다.

이 콘텐츠가 AI 인프라 구축을 검토하고 계신 분들께 조금이나마 도움이 되었기를 바랍니다. 끝!