SharedIT | 묻고 답하기(AMP)

대용량 파일 원격 전송 방법

 안녕 하세요 전산실 서버 관리자입니다.
저희는 오라클 서버의 RMAN DB를 DR 서버용으로 사용하고 있는 부산에 위치한 IDC 서버에
복사하여 백업하고 있습니다.
약 7,8년 전에는 오라클 서버에서 부산 IDC 서버로 네트웍 드라이브를 연결해서
지니 백업 솔루션으로 RMAN DB를 복사해서 백업하였다가 IDC 정책이 바이러스 감염을 우려해서 
네트웍 드라이브 포트를 차단해서 그 다음부터는 네트웍 드라이브로 복사하는 속도보다는 느리긴 하지만
SSL VPN으로 연결하여 DB를 복사해서 사용해왔습니다.
그런데 문제가 최근 DB용량이 점점 증가하여 약 90GB까지 육박해서 IDC 서버로 복사하는 시간이
하루를 훨씬 지나서 거의 하루 반을 넘게 소비하게 됩니다
용량이 어마어마하니 오래 걸리는 시간이 당연할 수도 있지만 너무 오래걸리기 떄문에
그 다음날 DB 백업 시간도 더 지연되는 딜레이 현상을 해결하고자 알아보다가 문의 드리게되었습니다.
FTP 테스트를 해보았지만 역시 복사 시간이 오래 걸렸고 특정 시간에 보내는 스케줄링이 안되는 점이 있었습니다.
제가 알아본 바로는 비용을 들여서 클라우드 서비스 업체를 통하면 대용량 파일을 빠른 속도로 올릴 수 있다고 하던데
이 방법이 최선인지 아니면 다른 방법을 알고 계시는 운영자분 있으시면 조언 부탁드립니다.
긴 글 읽어주셔서 고맙습니다.


 
Tags : 태그가 없습니다.

5개의 답변이 있습니다.

jbyoon
  0 추천 | 5년 이상 전 | 아이비인포텍(주) | 070-4323-3191
많은 분들이 좋은 답변을 주셨네요. 

- 먼저, 현재 RMAN 백업 데이터 용량이 얼마 정도일까요?
- 매일 1회 Full 백업을 받으시나요?
- 회선 속도는 어느정도 되실까요?

이 세가지가 전송속도에 가장 민감할 것 같습니다. 

저는 대안으로 퀘스트 "QoreStor(코어스토어)" 라는 중복제거 스토리지 엔진을 추천 드립니다. 
-  QoreStor(코어스토어) 커뮤니티에디션은 1TB 라이센스가 무상제공 됩니다. (https://www.quest.com/products/qorestor/ 소개 - 죄송합니다. 영문입니다. 구글신이 있으니까...괜찮으시죠? ^^;;)
(https://support.quest.com/ko-kr/qorestor/5.1.0/technical-documents 설치 및 운영가이드)
-  해당 SW는 리눅스에 설치됩니다. 그리고, 데이터 저장시 파일단위 & 블럭단위로 중복제거 후 저장됩니다. 
- 스토리지 저장소 타입은 CIFS, NFS, VTL 등 다양한 타입으로 저장소를 생성 및 사용 가능합니다.
- 본사/지사에 각각 코어스토어 저장소를 구성하고, 본사 -> 지사로 복제 구성을 할 수 있습니다. 
- 복제 구성을 하면, 본사에 1차 CIFS 저장소에 저장시(일반적인 복사&붙여넣기) 데이터는 중복제거 되어 저장되고, 저장 즉시 자동으로 지사로 전송 됩니다. 
- 전송될 때는 지사의 데이터와 비교하여, 또 다시 중복제거 & 압축 하여 전송되어 50Mbps 미만의 회선에서도 효과적입니다.
- 1TB가 넘으면, 라이센스를 구매하시면 됩니다만, 가격이 비싸진 않습니다. 

일반적인 FTP로 전송시 정합성에 대한 부분과 스케쥴링 등에 대한 이슈를 해결하기는 쉽지 않을것 같습니다. 
백업솔루션이 있다면 위에 말씀드린 코어스토어와도 연동은 가능합니다. 

다만,,,, 생소한 제품을 말씀드려서 조금 이해가 어려웠다면... 양해 부탁드리고, 혹시 추가 문의가 있으시다면
회사로 연락주시면 유선상 응대도 가능합니다.


 
한그루
  0 추천 | 5년 이상 전
AWS S3로 전송하는건 어떨까요? S3에 데이터 저장하는 정도로 사용하고 사용료 생각보다 많이 안나와요. 게다가 백업용이니 그 데이터는 S3로 넣었다가 Glacier 로 이동 시키면 훨씬 저렴해집니다.
Oracle 서버에서 S3로 데이터 올릴수 있도록 외부 접근 허용이 가능해야 합니다. (아니면 내부 다른 서버로 복사 했다가 올리던가.)
요즘은 왠만한 백업 솔루션들은 백업본을 S3 로 백업시키는 기능을 많이 지원하더라구요.
 
양성환
  0 추천 | 5년 이상 전
장비 노후화대서 Disk IO성능저하가 발생하는것 같네요.
복사와 백업이 동시에 돌아가서요.
IDC 의 망속도에 따라서 다르겠지만,클라우드 백업솔루션이면 차등백업을 다 지원해서 훨씬빠르겠네요
wansoo
  0 추천 | 5년 이상 전
클라우드로 해도 늦기는 마찬가지 이지 않을까요..?
클라우드로 사용한다면 동기화로 백그라운드 작업 처럼 점진적으로 진행된다는 장점은 있을 것 같지만, 큰 용량의 자료를 대역폭이 낮은 회선으로 보내는데는 한계가 있을 거라 생각되네요.
File 전송은 File 전송에만 전념하는 FTP가 가장 효과적일거라 생각되는데요.
일반 FTP 보다는 더 단순한 TFTP를 사용하는 것이 좀 더 효율적일 수도 있을 것 같다는 생각도 들고요.
CDN은 일종의 네트워크 캐시 역할을 해 주는 것이기 때문에 자주 사용하는 컨텐츠나 공동으로 접속하는 컨텐츠에 대한 접속 성능 효과는 있을 것 같지만 고용량 자료 전송등에도 효과가 있지는 않을 것 같다는 생각이 드네요.
네트워크 QoS 조절해 주는 시스템을 사용한다면 트래픽의 우선 순위를 효율적으로 운영해서 전송 효율을 높일 수 있지는 고용량 전송에는 한계가 있을거라 생각되고요.

RMAN으로 받은 자료를 그대로 보내지 말고, 압축을 한다면 용량이 상당히 줄어들것 같다는 생각이 더네요.
추정컨데... 90GB 용량이면 9GB 가까이는 줄어 들 것 같다는 생각이 드는데요.
압축한 후에 FTP로 전송하는걸 권장드리고 싶네요~
차바라기
  0 추천 | 5년 이상 전
네 있습니다. 예전 회사도 대용량 파일을 FTP로 받고 올리고 했는데 느려서 CDN이던가 업체를 통해서 올렸던거 같아요~한번 알아보세요

leslielee | 5년 이상 전

네 언급해주신 CDN 관련된 부분 확인해 보겠습니다. 고맙습니다~