안녕하십니까. 전 중견 게임사에 근무하고 있는 시스템 관리자 입니다.
NAS에 연결되어있는 아주 작은 용량의, 하지만 대량의 이미지 파일들을 이전해야하는 이슈가 있어 많은 선배님들게 조언을 부탁 드립니다.
현재 해당 리소스는 서비스에 운영중이고, 약 1억건이 좀 넘는 파일 갯수 그리고 100G 좀 안되는 용량을 가지고 있는 상태입니다.
원래 구조는 Origin Server (NAS + Linux, Apache) + Image Cache Server + DNS 구조를 가지고 있던 것을, Moved Server(Storage+WAS) 부분으로 옮기고 DNS에 CNAME으로 변경을 하고자 하는데
이전을 하려고 테스트를 진행함에 앞서 디스크 I/O 가 100%의 위업을 달성하네요.
테스트 방법은 Rsync를 이용한 Directory 동기화 였습니다. 이것저것 옵션을 걸어봐도 시간만 더 걸릴 뿐, I/O 문제는 해결 할 방법이 없네요...
간단한 조언이라도 도움 좀 부탁드립니다.
감사합니다.
2개의 답변이 있습니다.
저도 작년 이맘때 쯤 비슷한 문제로 고민했었는데...
리눅스이고요.
그냥 복사하면 될 거라 생각했었는데,
수많은 작은 스캔 이미지, 사진 이미지들을 1Tera 정도 복사하려니,
전체 복사하는데 시간이 너무 많이 소요되기 때문에 복사가 끝날 때까지
서버 접속을 차단해 둘 수도 없는 상황이고해서 고민을 많이 했었습니다.
자료도 많이 찾아보고 여러가지 시도를 해 봤었는데...
rsync가 가장 괜찮다는 결론을 내리고 실제 작업을 진행했었죠...
그때 따로 자료 정리를 해 두지를 못한 것 같네요.
작업은 rsync 기본 명령을 사용해서 한번 복제 처리하고,
복제가 한번 끝난 후에 다시 추가 발생되어 누락된 data를 복제하기 위해 update 옵션을 줘서
한번 더 rsync를 해 주어서 복제를 완료했었던 것으로 기억되네요.
걱정했던거 보다 일이 잘 진행되었고,
생각보다 작업이 빨리 끝났던 것으로 기억되네요.
질문을 다시 읽어 보니...
디스크 I/O로 인한 속도 저하 문제가 가장 큰 이슈인가 보네요.
저 같은 경우에는 속도 저하 문제보다는 업무에 큰 장애 없이
누락되는 데이터 없이 복제를 얼마나 효율적으로 잘 완료할 수 있을까하는
문제였었는데...
어쩌튼간에...
성공적인 데이터 이전을 완료할 수 있기를 바랍니다~ ^^*
http://www.cyberciti.biz/faq/throttle-disk-io-rate-limit-disk-io/
Rsync 옵션에
bandeidth 로 조절해보세요
느리더라도 안정적으로가야죠
1024면 초당 1M 정도입니다.
bandwidth 로 적절치 않다면,파일 sync의 단계를 놔누는 방법도 있습니다.
rsync /source root@1.1.1.1:/source_backup
의 형태로 진행을 했다면,
다음과 같이 bash 스크립트로 진행할 수 있게 분리 시키는 방법도 있습니다.
#!/bin/bash
rsync /source/[0-9]* root@1.1.1.1:/source_backup/
rsync /source/[a-h]* root@1.1.1.1:/source_backup/
rsync /source/[i-p]* root@1.1.1.1:/source_backup/
rsync /source/[q-z]* root@1.1.1.1:/source_backup/
wansoo | 약 9년 전
rsync 하나 끝날때 마다 sleep 명령을 주면 괜찮을 거 같네요~