1.현재상황
1.딥러닝 목적 다양한 GPU 서버 x대 사용중
2.일반 회사 사무실을 서버실로 사용중
2.요구사항
1.다양한 종류의 데이터를 저장해야 함 -> 정형 데이터, 비정형 데이터(이미지, 소리, 영상 등)
2.용량 확장성 용이
3.내부 네트워크(서버실 내 GPU 서버들)랑 외부 네트워크(클라우드) 둘 다 연결 가능해야 함.
4.주로 사용하는 데이터는 온프레미스 스토리지에, 백업은 클라우드에 하길 원함.
3.고려사항
1.스토리지 -> GPU 서버 I/O 속도 고려해야 함. GPU 서버 로컬에서 사용하는 거랑 많이 차이 나는지.
2.이중화
이렇게 스토리지 및 클라우드를 구축하려고 하는데 가능한 것인지 궁금합니다.
10개의 답변이 있습니다.
요구사항은 문제없이 구성이 가능합니다.
스토리지는 데이타에 따라 비정형 데이타가 포함되면 SAN 스토리지는 제외하는것이 좋고
용량이 1PB 이상 필요하면 오브젝트 스토리지, 1PB 미만이면 NAS 스토리지로 구성하는것이
효율적입니다.
GPU 서버 로컬 보다는 성능이 훨씬 좋아집니다.
구성은 가능하니, 클라우드로 할지 온프레미스로 할지만 결정하면 될것같습니다. 요즘 많은 기업에서 AI관련 플랫폼과 장비 특히, 글로벌 벤더사들 중 많으니 미팅해 하면서 예산범위 내에서 요구사항을 협의하면 될것 같습니다.
문의 하신 내용은 구축이 가능 한 인프라 환경 입니다.
먼저 현재 상황 중에 사무실을 서버실로 사용 중이라고 하셨는데요.
이왕이면 제대로 된 서버실을 구축하는 것을 추천 합니다.
GPU 같은 경우는 발열이 있다보니, 항온항습, UPS 등의 환경이 필요 합니다.
요구사항 중에 정형 비정형 데이터가 있다고 하셨는데요.
두가지 모두 저장 할 수 있는 오브젝트 스토리지를 구축하시면 됩니다.
오브젝트 스토리지에서 많이 사용되는 것이 Ceph라는 오픈소스 입니다.
요구하시는 네트워크를 충족하기 위해서는 퍼블릭 아이피 등이 필요할테고요.
Bandwidth도 충분히 고려 하셔야 할 것으로 생각이 됩니다.
운용 환경은 온프레미스, 백업은 클라우드라고 하셨는데요.
하이브리드 클라우드 형태로 접근하시면 될거 같습니다.
다만 온프레미스 환경을 상세히 알 수 없어서 정확이 판단하기는 무리가 있을 수 잇습니다.
클라우드에 전송해야 하는 데이터의 양이 클 때는 클라우드 이용료도 고려 대상이니 참고하시고요.
GPU 서버에서 I/O는 고려할 필요는 없을 수 있고요.
대신 이중화는 고려를 하셔야 합니다.
도움이 되셨길요.
요즘 딥러닝의 요구사항이 적어주신 내용과 거의 유사 할겁니다.
벤더사들도 그걸 잘알기 때문에 여기에 적합한 제품군들이 나오고 있습니다.
솔루션 상담실을 통해 요청하시면 적절한 제품을 소개 받으실수 있을것 같네요.
개인적인 의견이지만..
이 시스템이 잠깐이라도 중단되면 사업에 큰 영향이 있는 경우가 아니라면 이중화는 빼시는게 좋다고 생각합니다.
HCI를 고려한다면 자동으로 이중화까지 가능하겠지만.
요즘은 하드웨어가 좋아져서 하드웨어 문제로 장기간 시스템이 중단 되는 일은 없을것 같습니다.
대부분의 문제는 재부팅하면 해결 될 일들이겠죠..
물론 예산이 충분하다면야 HCI나 이중화도 좋은 옵션이겠지만
그렇지 않다면 이중화는 빼고 차라리 본래의 기능쪽에 더 투자를 하는게 좋을듯 합니다.
스토리지나 GPU를 여유롭게 가져가는것이죠.
요구 사항이 많네요.
이런 경우는 전문 업체의 자문으로 닫으시는게 더 효율적입니다.
정말 다양한 요구 조건을 만족해야 하는 거라서 딱 이거다 하는거는 어려울 듯 합니다.
내부/외부 망에서 모두 연결이 가능 해야 한다고 하면 일반 SAN 스토리지 보다는
IP를 이용하는 NAS 나 Object 스토리지를 사용해야 할 듯 한데요,
요즘은 NAS & Object 스토리지 모두 대부분의 클라우드 연동도 가능하게끔 되어 있으니
큰 문제는 없을 듯 합니다.
하지만, 성능을 따진다면 SAN 스토리지로 Flash 구성을 하면 제일 좋긴 한데,
Network 접근을 원한다면, NAS & SAN 을 모두 지원하는 Hybrid 스토리지도 대안이 될 듯 합니다.
제일 우선시하는 요구사항을 정리 하신 다음에 그거에 먼저 포커스를 두고 선정하시면 될 듯 하고,
해당 내용을 가지고 Vendor 나 중간 업체에 요청을 해 보시면 제안을 해 줄 듯 하네요.
다양한 종류의 데이터를 저장한다는 의미는...
파일을 저장한다는 의미가 될 것 같아 보이고요.
다양한 포멧의 파일은 일반 스토리지가 모두 가능합니다.
이미지 파일, 동영상 파일, 사운드파일 등등 모든 종류의 파일들을 일반 스토리지에서도 저장할 수 있습니다.
정형 데이터라면 DB나 엑셀 등의 데이터를 의미하게 되겠고요.
파일이 아닌 Database를 저장해야 할 경우라면 DBMS 소프트웨어를 설치해서 사용하면 될 일이기 때문에.... 일반 스토리지도 문제없습니다.
XML 등의 반 정형 데이터 또한 일반 파일의 한 종류이기 때문에 이미지나 동영상 등의 파일 저장과 다를게 없다고 보면 되겠고요.
내부 네트워크와 외부 네트워크랑 모두 연결가능해야 한다면...
컴퓨터 처럼 IP 주소를 넣을 수 있는 NAS와 같은 스토리지를 사용해야 하겠고요.
클라우드 스토리지나 오브젝티브 스토리지도 로컬및 인터넷상에서 접속되게 하는 것은 문제 없지만...
클라우드 처럼 인터넷상에 있는 스토리지는 인터넷이 안되는 로컬 장치들에서 접근이 안된다는 문제가 있겠고요.
클라우드나 인터넷 상에 있는 저장 장치는 인터넷 성능에 영향을 많이 받을 수 있기 때문에 고비용, 고 안정성을 보장 받을 수 있는 전용선을 사용하지 않을 경우에 성능이나 안정성 문제가 생길 가능성이 높겠고요.
성능이 좋은 NAS 스토리지를 구축해서, 공인 IP와 내부에서 접속 가능한 내부 사설 IP를 모두 할당해서 접속할 수 있게 구성한다면 인터넷이 안되는 내부 장치들도 스토리지에 접속할 수 있을 것이며, 고속 연결을 요구하는 장치들에서 인터넷을 통한 접속보다는 내부 로컬 네트워크를 통해 직접 연결 구성하게 스토리지를 구성하는게 성능과 안정성을 보장받을 수 있겠고요.
뉴타닉스 등의 온프레미스 프라이빗 클라우드를 구축해서 사용하는 방법도 있겠는데... 일반 NAS 스토리지에 비해 비용이 많이 소요될 수 있을 거란점을 감안해야 할 것 같고요.
백업은 어느 방법을 하건... 로컬 또는 클라우드에 받을 수 있는 방법이 있겠고요.
처리 성능과 안정성면에서는 인터넷에 있는 클라우드보다는 로컬 저장 장치에 백업을 받는 것이 더 낫지 않을까 싶어 보이고...
이중화 구성은 동일한 장치를 2중으로 도입해서 구축해야 할 것이며, 2중화를 지원하는 스토리지를 선택해서 도입하면 될 걸로 보이고요.
스토리지 자체가 여러개의 컨트롤러를 내장하여 자체적으로 2중화를 지원하는 제품들이 많이 있기 때문에 별도 솔루션을 통한 이중화보다는 스토리지 자체에서 2중화를 지원하는 제품을 선정하는 것이 낫지 않을까 하는 생각이 드네요.
GPU 서버와 스토리지를 언떤 인터페이스를 통해서 연결하냐에 따라 성능과 안정성에는 차이가 많다고 할 수 있을 것 같네요.
솔루션 상담실을 이용하여, 업체 컨설팅 필요 할 거 같네요.
뉴타닉스 HCI가 있으며 퍼블릭, 프라이빗
서비스와 같이 사용하는 하이브리드 형태도 있습니다
뉴타닉스 코리아나 하이브리드 전문 기업쪽으로 알아보심 편할것 같아요
해당 구성에 관해서는 솔루션 상담실에 글올리시는게 빠른 도움을 받을것으로 생각됩니다.