리눅스 서버를 설치하여 약 5TB 정도의 데이터를 하나의 파티션 그룹으로 생성해 해당 파티션을 NFS 용도로 제공하려 합니다.
약 20대의 서버에서 위 서버의 데이터를 NFS로 붙혀 사용할 건데요.
OS 디스크 외 4TB 디스크 6개 준비되어 있어 용량걱정은 없습니다.
NFS 서버 용도로 퍼포먼스와 어느정도의 안정성을 고려했을 때 제 생각으로는 RAID5에 spare디스크 1개 정도로 구축해놓으면 충분할 것 같다고 생각이드는데요.
다른 엔지니어분들의 의견이 궁금하네요~!
7개의 답변이 있습니다.
RAID5 구성하시고 Disk 한개를 강제로 빼서 Fail 상태를 만든후 다시 Disk를 꼽아서
리빌드 상태를 한번 모니터링 해보세요.
아무런 부하가 없는 상태에서 리빌드가 어느정도 걸리는지 확인 해보세요.
Raid5의 리빌드는 Raid1의 리빌드와 속도와 부하가 다릅니다.
패리티비트를 계산 해야하기 때문에 많은 시간이 소요됩니다. 부하도 발생하구요.
20대의 서버를 붙인다고 하셨는데
어떤 용도인지도 중요합니다.
20대의 서버에서 Access가 빈번하게 발생한다면 이또한 리스크가 됩니다.
Raid가 깨지지 않은 정상 상태에서는 문제가 되지 않는데
앞서 말한 디스크가 하나 Fail 되어 Rebuld를 하는 상황은 아주 불안한 상황입니다.
Raid1혹은 Raid1+0의 구성과는 또 다릅니다.
Raid1에서 미러링은 멀쩡한 원본을 두고 리빌드를 하는것인데
Raid5는 온전한 원본 데이터가 있는 상태에서의 리빌드가 아니고
더 많은 IO를 발생하며 리빌드를 장시간 진행하므로 20대의 서버가 붙어서 IO를 발생시키고
리빌드 작업까지 한다면 무리가 생길수 있습니다.
실제 Raid5에서 리빌드 도중에 많은 IO로 인해 리빌드 실패및 비트가 꼬여서 레이드 자체가 망가진 경험도 있습니다.
1.4TB * 5개로 Raid5 * Spare = 16TB + Spare
2.4TB * 6개로 Raid1+0 = 12TB
4TB 용량 차이네요..
용량이 부족하시다면 디스크 2개를 더 투자 하셨으면 하네요.
구글에 Raid5 + 불안정으로 검색해보시면 여러 의견을 보실수 있습니다.
저의 경우 Raid5는 일반 운영에는 사용하지 않고
제가 작업시간을 통제 할수 있는 백업이나 개발서버등에만 사용하고 있습니다.
RAID5+핫스페어로 두고 있습니다.
중요 데이터를 여러대 서버로 NFS를 마운트 해서
사용을 했을때 다스크 볼륨, Raid 볼륨 시
안정적인 구성은 Raid 5 + spare 2개로 구성 하시
걸 추천합니다
spare는 1개와 2개 차이는 큽니다
disk 라는게 1개 장애시 감지 못하면 2개로 넘어
갈수 있어요
항상 장애는 대비고 비용적인걸 아끼면 안됩니다
RAID5+spare 1 구성이면 안정성과 용량을 고려했을때 합리적인 방법이긴 합니다.
그래도 용량을 손해보더라도. 더 좋은 안정성을 원하시면 미러링으로 구성하시는 방법을 추천드립니다.
충분하다고 단정하기는 어려울수도 있습니다.
가능성이 낮기는 하지만, 상황에 따라 운이 없다면 디스크가 2개 이상 한번에 고장 나 버리는 경우도 발생합니다.
실제 경험하기도 했고요.
번개나 외부 충격 (지진 등)의 상황이 발생한다면 2개 이상의 디스크 고장도 일어 납니다.
RAID 5로 구성해서 핫스페어 한개 두었다고 안심했다가...
디스크 한개 고장나서 핫스페이가 RAID 구성으로 들어가서 RAID 리빌더하고 있는데, 다른 디스크 한개가 더 고장 나 버린다면 복구 불가의 상태가 되어 버리게 되죠.
RAID 6로 구성해서 디스크 2개 고장까지 대비해 둔다해도...
RAID 5보다 안심할 수는 있지만 완벽하다고 단정하기는 어려울 수도 있겠고요.
저장되는 데이터의 성격을 따져 보아서, 저장 공간이 복구 불가한 상태로 파괴되었을때 이전 백업 받아 둔 자료로 복구시 손실이 어느 정도 발생하는지, 백업과 이중화, 클러스터링 등으로 손실 대비에 투자되어야하는 비용을 비교 검토해 본 후에 이 정도는 감수해야 겠다는 결론을 내려야 할 거라 보여 지네요.
일반적으로 서버에서 OS 영역은 RAID1로 구성을 하고,
데이터 영역은 RAID5로 구성을 하고 있습니다.
성능 및 안정성을 따지자면 RAID1 (Mirror) 로 구성하는게 제일 좋은데,
그만큼 디스크 수량이 많이 필요하고, 비용이 더 드는 단점이 있죠...
서버가 아닌 스토리지에서 4TB 이상의 NL_SAS (or SATA) 디스크는 RAID6 를 권고하고 있는데요,
그 이유는 용량이 큰 디스크의 경우에 Fail 이 나서 Spare 로 넘어가는 시간이 많이 걸리기 때문에
RAID5로 구성했을 경우 1개 Fail 후 또 다른 디스크가 Fail 날 가능성도 있기 때문에 그렇습니다.
그럴 경우 해당 데이터는 복구가 불가능한 상황까지도 갈 수 있으니까요.
RAID6는 동시에 2개의 디스크 장애가 발생하더라도 데이터는 이상 없이 운영할 수 있는
방식입니다.
위의 내용은 스토리지에서의 경우이고, 서버에서는 말씀하신 방법으로 RAID5 & Spare 로 구성하시면
큰 문제는 없을 것으로 생각됩니다.
NFS 용도에 따라 다를것 같은데요.
성능, 안정성으로 본다면 RAID 5 최적입니다.
다만, NFS 데이터가 critical 데이터로 아주 민감하다면
RAID6로 고려하셔도 좋겠습니다.