겪어보신 전산팀 최대 위기 사건이 궁금합니다!

1
0

제가 평소에도 쓸때없는 걱정이 많다는 말을 많이 듣고사는 사람입니다 ㅜㅜ

작년말에 웜바이러스로 반나절정도 사내 업무 전체가 마비되는 일을 겪었는데요ㅜㅜ

혹시 여기 계신분들이 전산업무를 맡으시면서

겪어보신 전산팀 최대 위기 사건이 무엇인지 궁금해졌습니다.

살얼음판같은 하루하루 업무에서

그래도 알고라도 있으면 혹시나 조금이라도 대비하는데 도움이 될까해서요

여쭙고 보니 뻘질문 같아 챙피하지만


0
0

데이터 날려먹고 주말포함 3일 철야한게 최악이었는데

  • JOYH
    저도 그랬어요 ㅋㅋㅋㅋㅋ 어찌되었던 일부 복구한 게 그나마 다행이었죠.
0
0

DB 날린적, 전사에 바이러스 퍼진적 등이 기억에 남고 그 중 가장 힘들었던때는 연말정산 마지막날에 서버 뻗었던 때였네요 직원들이 폭동에 가까운 분노로 전산팀을 압박했던 그때…..

0
0

서버실에 불났습니다.

-_-;;

UPS 배터리가 오래되서 터지더니 불났더라구요..

다행히 자동 소화 시스템이 작동해서 불은 껏지만.. 사무실에 냄새땜에 몇주간 대피하고 난리도 아니었네요.

신기한건 서버는 정상 작동되었다는점..-_-?

  • spaghetti
    ㅎㅎㅎㅎ 하늘이 도우셨네요
3
0

전 금융권 쪽에 근무중인 담당 1인 전산인데, 다들 아시다시피 3.20 사태로…
엄청난 후폭풍과 함께 , 당시 아무런 IT관련 지원이 전무했던 센터로 나와있던 상태라…
7일 밤낮을 새가며 센터 내 400여대 모든 PC 정상화 (그래도 혹시나 해서 마스터 HDD를 미리 제작해둔 덕을…)
현업 HDD 내 중요데이터 복원 , 장비실 및 서버 통신 , 방화벽 복구 등…

그때 7일동안 밤낮을 새가며 복구한 후로 , 점층적인 지원 확대와 솔루션 개선방안이 이루어졌었죠…

그때 생각하면 지금도 아찔합니다. (금융권은 역시나 위험요소가 많구나. 생각하게 된 계기이기도 하구요.)

그 이외에는 휴가 내놓고 1일차 되자마자, 센터 내에서 네트워크가 전체적으로 셧다운 되는 바람에…
(회선 추가 공사 도중 공사업체에서 회선 1개 단선) 다시 복귀해서 2회선으로 이동시키고…
네트워크 연결 체크 하고, 중앙네트워크 테스트 하고…

요즘은 그래도 좀 정리된 곳에 와서, 다시 전산처리 프로세스를 고민중입니다…

이게 무사고, 무장애, 놀고있는게 최고의 전산직이라고 하는 말에 요즘 심히 공감중입니다.

뭐하나 생기면 일 똑바로 안하는 모양새가 되는 기분이 들어요…ㅜㅜ

  • 이성봉
    놀고 있어야 Best 바쁘면 사고터진것이니…
  • JOYH
    저도 직원들한테 입버릇 처럼 얘기하는 게 제가 바쁘면 회사 전산 시스템에 문제가 생긴거라고 하죠 ㅋㅋㅋㅋㅋ 제가 놀고 있는 것처럼 보여도 여러분들이 모르시는 뒷 배경에 저 나름 열심히 전산 시스템을 안정화에 대해서 고민하고 구축하고 그러니깐 시스템 안정화가 되어 있는 거고 그래서 제가 놀고 있는 것처럼 보이는 거라고 말이죠
3
0

의견 읽어보니 공감가는 내용이 많네요. 저도 10년넘게 IT관리자로 근무하면서 당황했던 경험을 꼽아보자면

1.불법SW고발로 인한 대표이사 법원출두.

2.항온항습기 장애로 서버실난리(서버 및 스토리지 여러대 장애발생)

3.메일서버 다운으로 2일간 업무마비.

이정도가 크게 기억나네요.

비용이 들더라도 최대한 효율적인 관리와 이중화가 우선입니다.

2
0

대부분 데이터 및 DB 날린경험 많으실거 같아요. (백업데이터 X 또는 매우 오래전..)

이 경우, 옛날 백업데이터라도 있어서 복구하면 다행이지만..그거마져 없는 경우가 태반이라..

들은바로 제일 큰 사건은 UPS 교체 작업 하다가 사고나서 전산실 전체 전기 Shutdown 된적이 있습니다.

그 여파로 일부 스토리지 RAID(LUN)깨졌는데, 백업 데이터는 없고…

그 이외 멀쩡한 서버 재부팅 시킨다던지, 테스트 장비 전원 코드를 빼야되는데 다른 서버 전원을 뺀다던지 등등..

휴먼에러 역시 많았습니다.

  • JOYH
    저도 휴먼 에러 한번 발생시킨 적이 있었죠 ㅋㅋㅋㅋㅋㅋ
1
0

여름휴가중 야간에
서버실 에어컨 2대가 둘다 죽어버린경우
….

  • 한방타이밍
    휴가 복귀 하셨나요? ㄷㄷ
  • JOYH
    저도 항상 서버실 에어콘이 말썽이에요 이게 에어콘 필터가 먼지가 많이 쌓여서 그렇다고 하는데 그러면 필터 교체 해달라고 해도 안해주고 그러니 자꾸 에어콘이 고장나더라구요이건 뭐 전산쟁이가 에어콘을 가지고 뭐 어떻게 할 수 있는 것도 아니고 설비실에서 해줘야 하는데 제대로 안해줘서 자꾸 싸우게 되네요 설비실에서는 서버에서 무슨 열이 그렇게 많이 나냐구 이해를 못하는게 가장 큰 문제 ㅡ,ㅡ;;
1
0

단순히 중요한 DB에서. select 하려다가 delete 를 해버린… 기억이..

  • netcat
    소름 돋네요. ㄷㄷㄷㄷ
  • JOYH
    그래서 DB 쿼리할때에 delete 같은 쿼리는 delete 명령어를 select 로 바꾸고 조회를 해본 다음에 데이터가 맞는지 확인해 보고 하셔야 돼요
1
0

신입사원때 업무시간중에 그룹웨어를 아무생각없이 리부팅 했는데 서비스가 안올라와서 거의 한시간만에 복구됬는데 직원들의 살해위협에 진심 죽을 수도 있겠다고 느겼던 흑역사가……

1
0

전 디도스 공격 받았을때요 ㅠ ㅠ

  • JOYH
    혹시 서버가 외부로 오픈되어 있으신가요??
1
0

근태 사이트 다운이요
직원들 휴가 등록하는 근태 사이트 일주일 동안 다운시킨적 있어요
다행히 복구되었지만…

짤릴뻔 했지요. ^^

1
0

이번 렌섬웨어 사건이 최대 위기였네요 무려 9대가 인크립션되고 저한테 복구해달라고 협박 애원 난리도 아녔죠 위에서는 향후에 어떻게 대응할건지 보고서 올리라고하고…. 회사에서 클량하는 분들이 꽤 많은걸 알게 되었네요 ㅋㅋㅋ

0
0

재미있는 이야기가 많네요ㅋ 다들 고생 많으십니다

2
0

지금이 최대 위기네요.
서버 교체 한다한다 하면서 올해로 넘겼는데…
해 넘기고 보름만에 그룹웨어 서버가 미쳐버렸네요.
임시조치라도 해야 하는데… 막막하고 답답한 상태입니다.
병약한 서버군이 너무 예민해져서 백신이랑 그룹웨어를 동시에 동작시키지 못하네요.

  • 10milesback
    이런,,,잘 해결되시길 바래요!
5
0
  1. 전 임원과 관련된 경우인데요..

    인터넷 전화로 바꾼 이후.. 유독 사장님만 전화가 안되는 겁니다

    그래서 무선으로 바꿨는데.. 무선 전화기도 자꾸 다운되고 불안정 하더라구요

    사장님한테 총무팀장이랑 같이 끌려가서 엄청 욕먹었죠.. ㅜㅜ…

    지금도 두달에 한번정도 꺼지는데.. 일주일에 한번은 사장님 안계실때 전화기 재부팅 한번 해줍니다 ㅜㅜ

  2. 한번은 근무시간에 갑자기.. 사내 인터넷이 전부 끊어졌었죠..

    문제는.. 사장님이 그날 회사 주식을 팔기로 하셨는데.. 인터넷이 안되니 팔 수가 없었습니다.

    재무팀장까지 와서 난리가 났었죠..

    휴대폰 테더링으로 접속을 하려고 했는데.. 이미 팔 시점을 지나서 몇백~몇천만원 손해를 볼 수도 있었습니다.

    당시 신입사원 면접 때문에 사장님이 회계팀장한테 주식 팔라고 맡기고 나가셨는데..

    회계팀장은 주가 변동으로 주식을 팔지 못해서..사장님 돌아오시면.. 전 죽은 목숨이라 생각했죠.. -_-;;

    사장님이 오후쯤 돌아오셨는데.. 별 말씀이 없으시더라구요..

    나중에.. 회계팀장님한테 가서 어찌됬냐고 물어보니.. 주식이 팔기 전보다 훨씬 올라서.. 안판게 다행이라고….
    만약 주가 떨어졌다면.. 전 아마…….

    ㅋㅋㅋㅋ 결론적으로 제가 사장님 돈 벌어드렸는데… 돌아오는건 없더군요 ㅋㅋㅋ

  3. 그룹웨어 DB 해킹으로 DB가 공중분해~

    완전 너덜너덜 다 털어놓고 윈도우 로그인 이름도 KoreanFu** 라고 ㅜㅜ..
    백업해 놓은게 있긴했는데.. 한달전 백업이라.. 메일도 다 날아가고.. 자료 다시 올리고 공지 다시 쓰고… 각부서에서 온갖 욕을 다 먹었죠… -_-..ㅋㅋㅋ

  • 두나짱
    못하면 욕 먹고 잘하면 본전이죠 =_=
  • 부자^^ 양
    ㅋㅋ 남일 이라그런가 넘 재밌어여~필력도 좋으시궁~
  • zephy
    오래 살껍니다.
  • 서포터
    ㅎㄷㄷ 하필 사장님과 직접..
0
0

스토리지가 맛이같어요. ㅠ.ㅠ

2
1

한 자동차 회사 생산지원시스템 (즉 전산실)에 일할때 입니다. 20시간 생산을 하기 때문에 거의 계속 헬스체크 하는 시간 외에는 거의 시스템이 살아 있어야 정상이고 지속적으로 교대하면서 팔로업을 하고 현장에 장애가 생겼을때 지원하는 업무죠

  • 어느 날 갑자기 조립에서 사양서의 시퀀스가 잘못되어서 차의 옵션이 잘못선택되어서 조립이 되었습니다. 이런 경우 저희 샌산지원시스템에서 책임소재와 심하면 배상까지 해야하는 구조입니다. 그 이유는 고객이 주문을 했고 인도가 되어야 하는 상황에서
    이미 자산으로 잡혀있는데 그 자산이 IT문제로 문제가 생겼을때 다시 생산하거나 재 조립하여야 하기 때문에 손해가 따르죠

1시간당 32 Job 32대의 자동차를 조립라인에서 통과시켜야 하는데 그 한대 때문에 뒤에 작업을 못하는것도 문제고 아무튼 작은 쿼리 수정으로 인해 발생된 오류였고 5대의 차가 잘 못조립되었고 결국 그 차들은 중에 3대는 수출 차량이어서 어떻게 현장
작업자와 하나하나씩 부품을 탈거하고 재조립하였고 나머지 2대는 저희가 배상을 하고 그 배상된 차량을 구입하였죠 물론 개인이 잘못한거지만 그걸 전부 개인에게 돌릴 수 없으니 다행이 저희 공장은 경차를 생산하는 공장이라서 두대를 구입하여서 적절히 현장 출동용으로 쓰고 있죠 그때 생각하면 정말 아찔하고 분위기가 굉장히 무거웠죠

  • 서포터
    이런식으로 물질적인 대량손실이 발생되었을때가 정말 큰 문제인거 같습니다..장애 났어도 물질적인 피해만 없다면야 욕만먹고 끝나지만..그래도 어떻게 잘 처리 되신거 같아 정말 다행이네요.
1
0

오래전에 들은 이야기인데..

1인 전산실인 규모에 전산 직원이 교체되고 몇개월 되지 않아

컴퓨터 바이러스로 PC 1대의 하드디스크 Data 몽땅 날려 먹었다고 짤려 버린 직원도 있었답니다.ㅎㅎ

1
0

전산 담당자의 위기야 많죠~

그중 몇가지 사례를 들어 볼까 합니다.

  1. 과거 회사에서 사장님이 소프트웨어를 잘 안사줄때 전사적으로 단속나오면 뻑갑니다.
    2007년도에 약 1억 정도의 단속금액을 받았던 적이 있었는데….그 뒤로는 소프트웨어 열심히 사고
    현업이 설치하면 서약서 받아 개인배상시키고 그럽니다.

  2. 서버 HDD 를 RAID 구성 안한 장비는 꼭 장애 발생하더군요.
    그것도 한꺼번에~ 4개중 3개가… 약 300만원 들여서 복구한 아픈 기억이 있습니다.

  3. UPS가 잘 작동하는 줄 알고 7년을 썼는데 어느 순간 정전으로 서버가 뻩어버리더군요.
    그때 밧데리는 주기적으로 교환해줘야 하는지 알았네요.~ 이상없으면 그냥 썼었는데요^^

  4. 아~ 이건 전해들은건데요. 뭐 회사 담당자분이 MES 시스템 DB 날려 먹고 회사를 그만 두셨다는…
    백업의 중요성은 아무리 강조해도 지나치지 않네요.

  • wansoo
    허걱~ UPS 배터리를 7년 동안 교체 안하셨나보네요..ㅎㅎ 배터리 오래되면 배가 나오고 터져 버리지 싶은데...ㅎ
  • 정그래
    APC를 썼었는데 그런 현상이 없어서 확인 못했었던 사항이었습니다~ ㅎㅎㅎ
  • 서포터
    배터리 오래 교체 안하면 배터리에서 화재발생 합니다. 실제 사례도 있고요. 엄청 중요합니다.
  • JOYH
    UPS 장비에서 배터리 교체 해달라고 알람이 계속 울렸을텐데요……
0
0

저도 DB서버 날렸던 경험이 ㅜㅜ 젤 끔찍하네요


1 - 20 질문 (25개 중 )
의견 쓰기

쉐어드IT의 가입은 쉽고 간단합니다. 지금 하시고 IT관리자들과 의견을 함께 나누세요