겪어보신 전산팀 최대 위기 사건이 궁금합니다!

guest

0 추천 | 7년 이상 전

ㅎㅎㅎ 댓글 읽다보니 등줄기에 식은땀이

guest

0 추천 | 7년 이상 전

쿼리 WHERE절을 잘못써서

DB를 싹다 날렸을때....

wansoo | 7년 이상 전

빨리 정신 차리고 rollback 해야줘~ ㅎㅎ
Oracle은 메모리에 따라 일정 시간내에 수정된 내용을 확인하고 복구할 수 있는 기능도 있더라구요.

guest

0 추천 | 7년 이상 전

기밀 유출 사건이 있어서 전산팀이 의심받게되어 황당했는데 알고보니 우리 팀장님(전산팀) 범인중 1인이었던....

wansoo | 7년 이상 전

저일을 어쩌쓰까이~ ㅎㅎㅎ
그 팀장님 근무 잘하고 계시나요?ㅎㅎ

guest

0 추천 | 7년 이상 전

데이터 날려먹고 주말포함 3일 철야한게 최악이었는데

danis78 | 7년 이상 전

저도 그랬어요 ㅋㅋㅋㅋㅋ 어찌되었던 일부 복구한 게 그나마 다행이었죠.

guest

0 추천 | 7년 이상 전

DB 날린적, 전사에 바이러스 퍼진적 등이 기억에 남고 그 중 가장 힘들었던때는 연말정산 마지막날에 서버 뻗었던 때였네요 직원들이 폭동에 가까운 분노로 전산팀을 압박했던 그때.....

kano5901

0 추천 | 8년 이하 전

서버실에 불났습니다.

-_-;;

UPS 배터리가 오래되서 터지더니 불났더라구요..

다행히 자동 소화 시스템이 작동해서 불은 껏지만.. 사무실에 냄새땜에 몇주간 대피하고 난리도 아니었네요.

신기한건 서버는 정상 작동되었다는점..-_-?

guest | 8년 이하 전

ㅎㅎㅎㅎ 하늘이 도우셨네요

guest

0 추천 | 8년 이하 전

전 금융권 쪽에 근무중인 담당 1인 전산인데, 다들 아시다시피 3.20 사태로...
엄청난 후폭풍과 함께 , 당시 아무런 IT관련 지원이 전무했던 센터로 나와있던 상태라...
7일 밤낮을 새가며 센터 내 400여대 모든 PC 정상화 (그래도 혹시나 해서 마스터 HDD를 미리 제작해둔 덕을...)
현업 HDD 내 중요데이터 복원 , 장비실 및 서버 통신 , 방화벽 복구 등...

그때 7일동안 밤낮을 새가며 복구한 후로 , 점층적인 지원 확대와 솔루션 개선방안이 이루어졌었죠...

그때 생각하면 지금도 아찔합니다. (금융권은 역시나 위험요소가 많구나. 생각하게 된 계기이기도 하구요.)

그 이외에는 휴가 내놓고 1일차 되자마자, 센터 내에서 네트워크가 전체적으로 셧다운 되는 바람에...
(회선 추가 공사 도중 공사업체에서 회선 1개 단선) 다시 복귀해서 2회선으로 이동시키고...
네트워크 연결 체크 하고, 중앙네트워크 테스트 하고...

요즘은 그래도 좀 정리된 곳에 와서, 다시 전산처리 프로세스를 고민중입니다...

이게 무사고, 무장애, 놀고있는게 최고의 전산직이라고 하는 말에 요즘 심히 공감중입니다.

뭐하나 생기면 일 똑바로 안하는 모양새가 되는 기분이 들어요...ㅜㅜ

guest | 8년 이하 전

놀고 있어야 Best 바쁘면 사고터진것이니...

danis78 | 7년 이상 전

저도 직원들한테 입버릇 처럼 얘기하는 게 제가 바쁘면 회사 전산 시스템에 문제가 생긴거라고 하죠 ㅋㅋㅋㅋㅋ 제가 놀고 있는 것처럼 보여도 여러분들이 모르시는 뒷 배경에 저 나름 열심히 전산 시스템을 안정화에 대해서 고민하고 구축하고 그러니깐 시스템 안정화가 되어 있는 거고 그래서 제가 놀고 있는 것처럼 보이는 거라고 말이죠

guest

0 추천 | 8년 이하 전

의견 읽어보니 공감가는 내용이 많네요. 저도 10년넘게 IT관리자로 근무하면서 당황했던 경험을 꼽아보자면

1.불법SW고발로 인한 대표이사 법원출두.

2.항온항습기 장애로 서버실난리(서버 및 스토리지 여러대 장애발생)

3.메일서버 다운으로 2일간 업무마비.

이정도가 크게 기억나네요.

비용이 들더라도 최대한 효율적인 관리와 이중화가 우선입니다.

guest | 8년 이하 전

대표이사 법원출두 ㄷㄷㄷ

guest

0 추천 | 8년 이하 전

대부분 데이터 및 DB 날린경험 많으실거 같아요. (백업데이터 X 또는 매우 오래전..)

이 경우, 옛날 백업데이터라도 있어서 복구하면 다행이지만..그거마져 없는 경우가 태반이라..

들은바로 제일 큰 사건은 UPS 교체 작업 하다가 사고나서 전산실 전체 전기 Shutdown 된적이 있습니다.

그 여파로 일부 스토리지 RAID(LUN)깨졌는데, 백업 데이터는 없고...

그 이외 멀쩡한 서버 재부팅 시킨다던지, 테스트 장비 전원 코드를 빼야되는데 다른 서버 전원을 뺀다던지 등등..

휴먼에러 역시 많았습니다.

danis78 | 7년 이상 전

저도 휴먼 에러 한번 발생시킨 적이 있었죠 ㅋㅋㅋㅋㅋㅋ

그저멍하니

0 추천 | 8년 이하 전

여름휴가중 야간에
서버실 에어컨 2대가 둘다 죽어버린경우
....

guest | 8년 이하 전

휴가 복귀 하셨나요? ㄷㄷ

danis78 | 7년 이상 전

저도 항상 서버실 에어콘이 말썽이에요 이게 에어콘 필터가 먼지가 많이 쌓여서 그렇다고 하는데
그러면 필터 교체 해달라고 해도 안해주고 그러니 자꾸 에어콘이 고장나더라구요

이건 뭐 전산쟁이가 에어콘을 가지고 뭐 어떻게 할 수 있는 것도 아니고 설비실에서
해줘야 하는데 제대로 안해줘서 자꾸 싸우게 되네요 설비실에서는 서버에서 무슨 열이
그렇게 많이 나냐구 이해를 못하는게 가장 큰 문제 ㅡ,ㅡ;;

guest

0 추천 | 8년 이하 전

단순히 중요한 DB에서. select 하려다가 delete 를 해버린... 기억이..

guest | 7년 이상 전

소름 돋네요. ㄷㄷㄷㄷ

danis78 | 7년 이상 전

그래서 DB 쿼리할때에 delete 같은 쿼리는 delete 명령어를 select 로 바꾸고 조회를 해본 다음에
데이터가 맞는지 확인해 보고 하셔야 돼요

guest

0 추천 | 8년 이상 전

신입사원때 업무시간중에 그룹웨어를 아무생각없이 리부팅 했는데 서비스가 안올라와서 거의 한시간만에 복구됬는데 직원들의 살해위협에 진심 죽을 수도 있겠다고 느겼던 흑역사가......

guest

0 추천 | 8년 이상 전

전 디도스 공격 받았을때요 ㅠ ㅠ

danis78 | 7년 이상 전

혹시 서버가 외부로 오픈되어 있으신가요??

네트워커

0 추천 | 약 9년 전

근태 사이트 다운이요
직원들 휴가 등록하는 근태 사이트 일주일 동안 다운시킨적 있어요
다행히 복구되었지만...

짤릴뻔 했지요. ^^

guest

0 추천 | 약 9년 전

이번 렌섬웨어 사건이 최대 위기였네요 무려 9대가 인크립션되고 저한테 복구해달라고 협박 애원 난리도 아녔죠 위에서는 향후에 어떻게 대응할건지 보고서 올리라고하고.... 회사에서 클량하는 분들이 꽤 많은걸 알게 되었네요 ㅋㅋㅋ

guest

0 추천 | 약 9년 전

재미있는 이야기가 많네요ㅋ 다들 고생 많으십니다

guest

0 추천 | 9년 이상 전

지금이 최대 위기네요.
서버 교체 한다한다 하면서 올해로 넘겼는데...
해 넘기고 보름만에 그룹웨어 서버가 미쳐버렸네요.
임시조치라도 해야 하는데... 막막하고 답답한 상태입니다.
병약한 서버군이 너무 예민해져서 백신이랑 그룹웨어를 동시에 동작시키지 못하네요.

10milesback | 9년 이상 전

이런,,,잘 해결되시길 바래요!

guest

0 추천 | 9년 이상 전

1. 전 임원과 관련된 경우인데요..

인터넷 전화로 바꾼 이후.. 유독 사장님만 전화가 안되는 겁니다

그래서 무선으로 바꿨는데.. 무선 전화기도 자꾸 다운되고 불안정 하더라구요

사장님한테 총무팀장이랑 같이 끌려가서 엄청 욕먹었죠.. ㅜㅜ...

지금도 두달에 한번정도 꺼지는데.. 일주일에 한번은 사장님 안계실때 전화기 재부팅 한번 해줍니다 ㅜㅜ

2. 한번은 근무시간에 갑자기.. 사내 인터넷이 전부 끊어졌었죠..

문제는.. 사장님이 그날 회사 주식을 팔기로 하셨는데.. 인터넷이 안되니 팔 수가 없었습니다.

재무팀장까지 와서 난리가 났었죠..

휴대폰 테더링으로 접속을 하려고 했는데.. 이미 팔 시점을 지나서 몇백~몇천만원 손해를 볼 수도 있었습니다.

당시 신입사원 면접 때문에 사장님이 회계팀장한테 주식 팔라고 맡기고 나가셨는데..

회계팀장은 주가 변동으로 주식을 팔지 못해서..사장님 돌아오시면.. 전 죽은 목숨이라 생각했죠.. -_-;;

사장님이 오후쯤 돌아오셨는데.. 별 말씀이 없으시더라구요..

나중에.. 회계팀장님한테 가서 어찌됬냐고 물어보니.. 주식이 팔기 전보다 훨씬 올라서.. 안판게 다행이라고....
만약 주가 떨어졌다면.. 전 아마.......

ㅋㅋㅋㅋ 결론적으로 제가 사장님 돈 벌어드렸는데... 돌아오는건 없더군요 ㅋㅋㅋ

3. 그룹웨어 DB 해킹으로 DB가 공중분해~

완전 너덜너덜 다 털어놓고 윈도우 로그인 이름도 KoreanFu＊＊ 라고 ㅜㅜ..
백업해 놓은게 있긴했는데.. 한달전 백업이라.. 메일도 다 날아가고.. 자료 다시 올리고 공지 다시 쓰고... 각부서에서 온갖 욕을 다 먹었죠... -_-..ㅋㅋㅋ

guest | 9년 이상 전

못하면 욕 먹고 잘하면 본전이죠 =_=

guest | 9년 이상 전

ㅋㅋ 남일 이라그런가 넘 재밌어여~필력도 좋으시궁~

guest | 9년 이상 전

오래 살껍니다.

guest | 8년 이하 전

ㅎㄷㄷ 하필 사장님과 직접..

오늘을즐기자

0 추천 | 9년 이상 전

스토리지가 맛이같어요. ㅠ.ㅠ

guest

0 추천 | 9년 이상 전

한 자동차 회사 생산지원시스템 (즉 전산실)에 일할때 입니다. 20시간 생산을 하기 때문에 거의 계속 헬스체크 하는 시간 외에는 거의 시스템이 살아 있어야 정상이고 지속적으로 교대하면서 팔로업을 하고 현장에 장애가 생겼을때 지원하는 업무죠

- 어느 날 갑자기 조립에서 사양서의 시퀀스가 잘못되어서 차의 옵션이 잘못선택되어서 조립이 되었습니다. 이런 경우 저희 샌산지원시스템에서 책임소재와 심하면 배상까지 해야하는 구조입니다. 그 이유는 고객이 주문을 했고 인도가 되어야 하는 상황에서
이미 자산으로 잡혀있는데 그 자산이 IT문제로 문제가 생겼을때 다시 생산하거나 재 조립하여야 하기 때문에 손해가 따르죠

1시간당 32 Job 32대의 자동차를 조립라인에서 통과시켜야 하는데 그 한대 때문에 뒤에 작업을 못하는것도 문제고 아무튼 작은 쿼리 수정으로 인해 발생된 오류였고 5대의 차가 잘 못조립되었고 결국 그 차들은 중에 3대는 수출 차량이어서 어떻게 현장
작업자와 하나하나씩 부품을 탈거하고 재조립하였고 나머지 2대는 저희가 배상을 하고 그 배상된 차량을 구입하였죠 물론 개인이 잘못한거지만 그걸 전부 개인에게 돌릴 수 없으니 다행이 저희 공장은 경차를 생산하는 공장이라서 두대를 구입하여서 적절히 현장 출동용으로 쓰고 있죠 그때 생각하면 정말 아찔하고 분위기가 굉장히 무거웠죠

guest | 8년 이하 전

이런식으로 물질적인 대량손실이 발생되었을때가 정말 큰 문제인거 같습니다..장애 났어도 물질적인 피해만 없다면야 욕만먹고 끝나지만..

그래도 어떻게 잘 처리 되신거 같아 정말 다행이네요.

wansoo

0 추천 | 9년 이상 전

오래전에 들은 이야기인데..

1인 전산실인 규모에 전산 직원이 교체되고 몇개월 되지 않아

컴퓨터 바이러스로 PC 1대의 하드디스크 Data 몽땅 날려 먹었다고 짤려 버린 직원도 있었답니다.ㅎㅎ

guest

0 추천 | 9년 이상 전

전산 담당자의 위기야 많죠~

그중 몇가지 사례를 들어 볼까 합니다.

1. 과거 회사에서 사장님이 소프트웨어를 잘 안사줄때 전사적으로 단속나오면 뻑갑니다.
2007년도에 약 1억 정도의 단속금액을 받았던 적이 있었는데....그 뒤로는 소프트웨어 열심히 사고
현업이 설치하면 서약서 받아 개인배상시키고 그럽니다.

2. 서버 HDD 를 RAID 구성 안한 장비는 꼭 장애 발생하더군요.
그것도 한꺼번에~ 4개중 3개가... 약 300만원 들여서 복구한 아픈 기억이 있습니다.

3. UPS가 잘 작동하는 줄 알고 7년을 썼는데 어느 순간 정전으로 서버가 뻩어버리더군요.
그때 밧데리는 주기적으로 교환해줘야 하는지 알았네요.~ 이상없으면 그냥 썼었는데요^^

4. 아~ 이건 전해들은건데요. 뭐 회사 담당자분이 MES 시스템 DB 날려 먹고 회사를 그만 두셨다는...
백업의 중요성은 아무리 강조해도 지나치지 않네요.

wansoo | 9년 이상 전

허걱~ UPS 배터리를 7년 동안 교체 안하셨나보네요..ㅎㅎ 배터리 오래되면 배가 나오고 터져 버리지 싶은데...ㅎ

guest | 9년 이상 전

APC를 썼었는데 그런 현상이 없어서 확인 못했었던 사항이었습니다~ ㅎㅎㅎ

guest | 8년 이하 전

배터리 오래 교체 안하면 배터리에서 화재발생 합니다. 실제 사례도 있고요. 엄청 중요합니다.

danis78 | 7년 이상 전

UPS 장비에서 배터리 교체 해달라고 알람이 계속 울렸을텐데요......

guest

0 추천 | 9년 이상 전

저도 DB서버 날렸던 경험이 ㅜㅜ 젤 끔찍하네요

werther.chan

0 추천 | 9년 이상 전

하필 백업시스템을 도입하기전 백업진행이 한달전인 ERP서버의 디스크 및 Board가 나가는 바람에... 한달치의 ERP data를 일일히 수작업으로 입력하는 사건이 있었네요... 그리고 그때 서버장애가 약 4~5일 정도 소요가 되어서... 회사가 난리가 났었던 기억이... 그때만 생각해도 아찔하네요...ㅜㅜ

guest

0 추천 | 9년 이상 전

전산담당자의 최대위기는.....

전산실 항온항습기 고장으로 인해서...전산실 전체 시스템이 셧다운되는 상황이었네요..

전산실 문 여는데.. 그 후덥지근한 탄냄새나는 공기가 얼굴에 엄습하는데..

오만가지 생각이 다들었음...

guest | 9년 이상 전

FMS 같은 항온항습기 관리 시스템에서 경고메시지가 없었나요?? ㅠ

10milesback

0 추천 | 9년 이상 전

새로 계약맺은 유지보수 업체의 부도 정도가 떠오르네요^^ 계약금액의 절반정도가 지급된 상태였는데 업체 대표이사가 사라졌어요 흑흑

guest | 9년 이상 전

보통 유지보수 계약하면 보증보험도 제출하라고 하지 않나요?

10milesback | 9년 이상 전

그떄는 좋은게 좋은거고 쉽게 가고십다는 생각에 보증보험도 없이 진행했었네요 ....

guest

0 추천 | 9년 이상 전

거의 비슷한 대답이지 않을까 싶은데요.... 백업으로 데이터를 복원해야 하는데, 막상 백업이 안되어 있거나 백업본이 문제가 있을 때가 아닐까 합니다.

정신이 아득해지면서 별 생각이 다 납니다.

다행하게 어찌저찌해서 큰 문제없이 넘어갔습니다만...

그외 시스템이 해킹에 속수무책으로 당할 때도 답답했었고요.

guest | 9년 이상 전

잘 넘기셨다니 다행이네요 ㅜㅜ 저희도 2차백업까지는 안되었어서...불안불안

wansoo

0 추천 | 9년 이상 전

전산팀의 최대 위기라면...

서버 데이터 영역 저장 공간이 손상을 입어 복구가 안되어

backup 본으로 복구하려는데, 백업 본이 손상되어 있어 복구 불가한 상황이 아닐까요.ㅎ

10년 넘게 5개소 전산 관리자로 근무하면서

유사한 경우를 여러번 겪었답니다.

여차 저차~ 최악의 위기 상황으로 빠져드는 순간에서 다행히 뜻밖의 운으로

지금까지 버텨 온거 같습니다.

guest | 9년 이상 전

흐미 백업본까지 손상되는 경우가 종종 있나보네요

wansoo | 9년 이상 전

한때 Tape으로 백업을 많이 받았었는데... Tape이 문제가 많았었죠.
그리고, 요즘도 실시간 백업을 받을 경우에는 원본 자료에 논리적 오류가 생겨서 백업본까지 오류가 생긴 내용으로 덮어 쉬워져 버리는 경우도 있고요..
좀 더 제대로된 백업을 위해서는 2중, 3중 백업이 필수라 생각합니다.

guest | 8년 이하 전

네. 테이프 백업 믿으면 정말 낭패봅니다. 믿을게 못됩니다.

겪어보신 전산팀 최대 위기 사건이 궁금합니다!

28개의 답변이 있습니다.