안녕하세요.
사내에 LLM 도입을 위해 검토하고 있는 상황입니다.
관련해서 보고서를 작성하고 있는데,
문제는 비교적 신기술이다보니 관련해서 정보 찾기가 어렵네요..
일단 제가 알아본 정보로는 이렇습니다.
1.사내 LLM을 온프레미스 또는 API 방식으로 설치가 가능하다.
2.사용자 100명 기준 온프레미스 방식은 cpu : i7 이상, Memory 32GB 이상, 엔비디아 RTX3090 이상, SSD 1TB 이상이 필요하고 700만원 전후로 조립식 서버 구매 가능하다.
3.사용자 100명 기준 API 방식은 저가형AI는 월 20, 고가형은 월 50 정도로 예상하면 된다.
제가 조사한 정보가 맞는지,
AI 선택 기준은 어떻게 해야하는지,
그리고 정보조사를 위한 팁 등이 있는지 도움 부탁드립니다...
11개의 답변이 있습니다.
조립식서버는 생각을 해봐야 합니다.
가용워크로드 계산이 차이가 날수 있습니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입일단 범위부터 다시 정하셔야 합니다.
1.영어만 잘하면 끝? 한국어도 잘해야 하지 않나요?
2.질문의 방법에 대한 답의 정확도 필요성, 혹은 단순한 문장의 축약 제안 정도인건지 등.
3.도입예산
4.필요한 그 외 사항들..
1.사내 LLM을 온프레미스 또는 API 방식으로 설치가 가능하다
1.가능합니다. ollama+openwebui정도를 쓰면 생각보다 어렵지 않게 배포까지도 가능합니다.
2.사용자 100명 기준 온프레미스 방식은 cpu : i7 이상, Memory 32GB 이상, 엔비디아 RTX3090 이상, SSD 1TB 이상이 필요하고 700만원 전후로 조립식 서버 구매 가능하다.
1. CPU사양은 크게 필요없습니다. 메모리도 기본적으로만 있으면 되구요, 문제는 GPU의 칩셋보다는 VRAM의 사이즈입니다. 모델에 따라 로드되는 사이즈도 다릅니다.
2.일반적으로 2.4B급의 소형 모델부터(1.5~3B), 7~8B수준의 중형모델, 14B이상의 고사양 모델들이 있습니다. 문제는 파라미터가 많다고 좋은 모델인가는 번외이고, DeepSeek만 해도 8B정도면 무난하게 쓰이긴 합니다.
3.3090은 중고물품밖에 없고 채굴 에디션들이 있을 수 있고, 4090은 단종에 가까우며 5090은 물량도 없고, GPU.구매만으로 이미 700만원 예산을 오버하실 수 있습니다.
4.M4칩 맥미니 128GB 같은 모델을 쓰는게 낫지 않나 이야기도 있으니 참고하시면 좋습니다.
5.사용자가 100명이 동시에 얼마나 하드한 질문을 넣느냐에 따라 이야기가 달라지겠지만, 100명이 쓸 시스템이고 부하가 많이 생긴다면 저것만으로는 한계가 있습니다. 통상적으로 4090을 탑재한 i7시스템에서 질문을 하나 하고 답을 얻는데 20초 내외정도가 소모되고 있습니다. 동시에 더 많은 사용자가 쓴다면 필요한 자원은 넘쳐납니다.
6.제 기준으로는 5~10명정도가 쓰는데, 불편함을 느끼지만 쓸 수는 있는 정도가 아닐까 생각됩니다.
7.실제로 계속해서 쓰는 사용자수가 많다면 금액은 한계성 없이 올라가집니다. (결국 로컬 구축을 위한 하드웨어와 그 링크가 늘어나게 될겁니다)
3.사용자 100명 기준 API 방식은 저가형AI는 월 20, 고가형은 월 50 정도로 예상하면 된다.
1.API를 이용해서 chatGPT든 다른 공개형 서비스를 이용하신다면 질문을 보내는 단어의 토큰카운트, 다시 답변을 얻어오는데 드는 답변토큰 카운트가 들어가집니다. 통상 1M(100만개)를 사용하는데 이 비용에 대해 산출하심이 맞을 것으로 생각됩니다.
현재 한국에서 사용 가능한 라이선스를 고려하셔야 하기 때문에 한국어를 잘하는건 LG의 Exaone 3.5가 가장 좋고, 그 다음으로는 IBM의 granite, Google의 Gemma 2 정도가 꽤 좋은 선택지에 들어갑니다. MS의 Phi4도 있긴 하고, Deepseek도 있지만 의외로 한자를 간간히 내뱉습니다.
문제는 엑사원은 상업용 사용에 대해 문제가 있는 점이 있습니다.
그 외 모델의 경우 한국어에 대한 성능이 꽤 취약합니다. 도입을 하는 과정에서 빈틈이 없어야 하는게 맞으시다면 해당 내용 충분히 감안하시고 고민해서 시작하시길 추천 드립니다.
더 궁금하신게 있다면 댓글 달아주세요.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입1.사내 LLM을 온프레미스 또는 API 방식으로 설치가 가능하다.
-> 온프레미스와 API 방식 모두 가능하지만, 각각의 장단점이 있습니다.
온프레미스 장점은, 데이터 보안 유지 (외부 API 호출 없음), 지속적인 비용 절감 (장기적으로 API 대비 비용 효율적), 사내 인프라 최적화 가능하고,
단점은, 초기 하드웨어 비용 부담 (서버 구축 필요), 모델 업데이트 및 유지보수 필요, 최적화 및 튜닝(LoRA, 양자화)을 위한 지식이 필요합니다.
API 방식 장점은 초기 투자 비용 없음, 빠른 도입 가능, 최신 모델 자동 업데이트 가능하고,
단점은, 비용이 지속적으로 발생, 데이터 외부 전송 시 보안 이슈 발생 가능, API 제한 속도 존재합니다.
2, 사용자 100명 기준 온프레미스 방식은 cpu : i7 이상, Memory 32GB 이상, 엔비디아 RTX3090 이상, SSD 1TB 이상이 필요하고 700만원 전후로 조립식 서버 구매 가능하다.
-> 온프레미스 100명 기준으로 최소사양을 살펴보면 CPU는 OK (다만, 대부분 GPU에 의존), 램은 64GB 이상 권장(파라미터 수 증가시 필요), GPU는 최소 RTX 4090, A100, H100 권장합니다.
온프레미스 비용은 RTX 4090 기준으로 700만원 전후로 적절하게 구매 가능합니다.
3. 사용자 100명 기준 API 방식은 저가형AI는 월 20, 고가형은 월 50 정도로 예상하면 된다.
API 100명기준 비용으로는 저가형 모델 (GPT-3.5)으로 월 20~30만원, 고가형 모델 (GPT-4)은 월 50~ 100만원 가능, 추가비용으로는 프롬프트 길이, API 호출 빈도에 따라 가변
참고로, 이런 경우는 다른 타 기관, 기업에서는 어떻게 사업을 진행하는지 사전조사가 필수입니다.
장단점, 사례, 도입 비용 등 ...
만약, 이런 과정을 모두 살펴보았다면 공공기관 발주 사이트 '나라장터'에서
공공에서는 어떻게 사업을 진행하는지 참고해보세요.
동일하지는 않을지라도 많은 도움이 될것입니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입사용자수도 중요하지만 어떤 데이터를 어느정도, 어느빈도로 사용할지도 매우 중요합니다.
또한 하드웨어는 한번 도입하면 변경하기 힘들기 때문에 전문적인 업체에 컨설팅 받아 보시는걸 추천 합니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입솔루션 상담실에 견적상담을 해보셔요, 다들 LLM만 도입하면 뭐가 될것처럼 이해하고 계신거 같아요, LLM을 활용해서 어떤 업무에 적용할건지 어떤 부분의 개선 포인트를 찾을지 과제 발굴/기획 부터가 우선입니다.
과제에 따라서 구축 방법(인프라, 솔루션, 기술스택등, 개발 규모) 등 예산이 확 달라집니다.😊
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입사양은 기본적인 LLM 구동에는 적합하나, 100명이 동시 사용하기에는 다소 부족할 수 있을것 같습니다.
■추천 사양: CPU는 최소 듀얼 제온급, RAM 64GB 이상, GPU는 A5000급 이상 권장 하고 실제 필요 사양은 선택하는 모델과 예상 동시접속자 수에 따라 달라질 수 있을것 같습니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입LLM이라는 것은 Large Language Model을 의미하는 것으로 인공 지능 분야에서 자료 학습에 해당하는 머신 러닝의 한분야인 DeepLearning의 학습 모델 중에 하나 이며, 언어 처리를 위한 모델에 해당하죠.
머신 러닝을 위해서는 많은 데이터에 대한 처리가 필요한데... GPU를 이용해서 비용 효율적으로 처리할 수 있겠고요.
컴퓨터의 메인 처리 장치인 CPU가 연산 처리에 있어서는 최고의 제품이긴하지만... CPU는 가격이 비싸기 때문에 비율성이 현저하게 떨어지고... 머신 러링 자료 처리는 대량의 단순한 자료 처리가 요구되기 때문에 값비싼 CPU를 사용하는 것보다는 저렴하게 구성할 수 있는 GPU를 사용해서 대량의 자료를 동시 처리할 수 있게 구성하는게 훨씬 효율적이기 때문에 GPU의 인기가 높아 지고 있는 것이라 할 수 있겠고요.
GPU가 없다고 머신 러닝이나 LLM 작업을 수행할 수 없는 것은 아니지만... GPU를 사용함으로서 LLM 자료 처리의 성능을 최대화 시킬 수 있는 것이고요.
저렴한 GPU를 사용할 수도 있고, 고가의 GPU를 사용할 수도 있고요.
어떤 GPU를 사용햐냐에 따라 처리하는 성능에 영향이 있게 된다는 것은 당연하겠죠.
처리하려는 데이터 량이나 처리하려는 작업 성격 등에 따라서 적절한 GPU 및 하드웨어를 구성하는 것이 필요하겠고요.
조립 컴퓨터를 사용하냐, 안정성과 성능이 인가되고 기술 지원을 받을 수 있는 고가의 제품을 사용하냐에 대한 것도 목적으로 하는 업무 특성에 따라 적절히 선택할 필요가 있어 보이고요.
사용하려는 AI 서비스가 어떤 것인지에 따라, 그리고 한번에 큰 비용을 투자할 수 있는지, 유지 관리를 어떻게 하는지, 개발자들이 어떤 사용 방식을 선호하는지 등등에 따라서 내부 구축형을 사용할 수도 있고, 클라우드로 제공하는 서비스를 이용할 수도 있고요.
내부 구축을 할 경우에는 하드웨어와 사용하려는 서비스 등등을 자체적으로 구축하고 유지 관리도 해야 하지만, 클라우드 방식으로 사용한다면 정기적인 일정 금액의 사용료를 내면서 사용하면 되기 때문에 도입도 쉽게 할 수 있고, 시스템 관리자의 편의성도 있다는 장점도 있기 때문에....
어떤 방식이 적절할 지를 잘 고려해서 결정할 필요가 있어 보이네요.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입도입하려는 목적에 따라 선택되어야 합니다.
먼저 목적과 활용방안 등을 정리 하신 후에 알아보시는 것을 추천 합니다.
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입어떤 목적으로 생성형 AI를 도입하시려는 것인지부터 명확하게 정하셔야 할 것 같고요. 반드시 온프레미스 방식을 고집하셔야 할거라면 말씀하신 스펙의 서버는 사양이 그냥 조금 성능 높은 데스크탑 PC 사양이지 AI를 돌리기 위한 서버 사양으로는 많이 부족한 것 같습니다. 보통은 GPU 서버를 도입하는데, 대 당 몇천만원입니다.
게다가 100명이 서버에 접속해서 AI가 추론한 결과를 받아보는 형태일 것 같은데, AI 모델 구축은 어떻게 하실 것인지, 공개된 모델을 가져다가 파인튜닝 후 추론에만 활용할 것인지도 확인이 필요하고요.
API의 경우 토큰 API인 것 같은데, 사용하시려는 LLM 모델마다 API 요금이 다를겁니다. 일단 사용자 1명 당 원하는 결과물이 몇 토큰정도 소비하는지부터 테스트해 보시고 비용을 가늠하셔야할 것 같아요.
국내에 자체 AI 구축을 도와주는 기업들이 여럿 있을겁니다. 솔트룩스가 유명한 것으로 알고 있는데 아래 아래의 솔트룩스에서 제공하는 어플라이언스 중 워크스테이션 형태가 낫지 않을까요?
https://www.saltlux.com/kor/contents/view.do?mId=39
다른 기업들은 아래의 코오롱베니트 홈페이지에서 AI 특화 기술 보유사를 확인하시고 개별적으로 연락해 보세요.
https://ai.kolonbenit.com/ai-company
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입사용자 100명 규모보다는 사용하려는 데이터량, 소프트웨어 프레임워크 선택 등에 따라
하드웨어 인프라 사양은 달라집니다.
LLM은 위한 하드웨어는 또한 고가라 가격 편차가 심해서 단순 조사로만 보고할 경우
실제 구현할 때 금액 차이가 심하게 날 수 있습니다.
전문업체의 조언이나 가이드 받아서 보고서 작성하는게 향후 프로젝트 진행 시 의견이 덜합니다.
올려주신 사양은 너무 낮은것 같아요..
규모가 어떤지 잘모르겠지만 기업에서 사용히긴 낮은것 같아요
댓글 남기기
답변을 작성 하시려면 로그인이 필요합니다.
로그인 회원가입