안녕하세요
정말 막막해서 여기에 글 올려봅니다.
저는 그동안 있던 곳에서는 PM 작업시 모든 서버를 같이 내리고 같이 켜는 식으로 작업하는 곳에서 있었는데요(물론 active-standby 형식의 장비는 standby 먼저 끄고, active 끄고, 기동은 active 먼저, 그다음 standby 순서는 있었지만 업무 운영을 모두 중지 한 상태에서 작업을 했습니다.)
이번에 하는 곳은 장비를 한꺼번에 안끄고, 서비스가 계속 지속되게 하면서 PM 작업을 해야 한다고 하더군요
즉 active 장비의 서비스를 standby 장비에서 운영하게 하고 그동안 active 장비를 종료, 기동해야 하고
이게 완료 되면 standby 장비의 서비스를 다시 active가 하게 만든 뒤 standby 장비를 꺼야 합니다.
근데 이런 작업식으로 작업을 해본적이 없어서 정말 어떻게 계획을 짜야 할지 모르겠습니다.
예를 들면 서버가 아래와 같은 형식으로 있다고 하면
AP1, AP2
WEB1, WEB2
WAS1, WAS2
DB1, DB2
종료, 기동 작업을
AP1, WEB1, WAS1, DB1을 먼저 하고 AP2, WEB2, WAS2, DB2를 해야 하는건지
아니면 AP1, AP2를 하고 WEB1, WEB2 한후 WAS1, WAS2, DB1, DB2 이런식으로 하는게 맞는건지 잘 모르겠습니다.
더구나 단독 서버도 아니고 여러개의 AP가 서로 데이터 연동되는것도 있어서 영향도 파악도 해야 하는데 API 운영자들에게 물어보면 왜 그걸 자기한테 물어보냐고 짜증만 내고 ㅜㅜ
혹시 이런식으로 운영하는 사이트에서 PM 작업하시는분 계시면 조언 좀 부탁드리겠습니다.
(여기가 이런 작업을 안해봐서 매뉴얼도 없고, 그나마 있는 매뉴얼은 위에서 말씀드린 통상적인 PM 방식으로 작성된거라 도움이 안됩니다. ㅜㅜ)
9개의 답변이 있습니다.
PM 작업 할 때 고려할 사항들이 많습니다.
이중화된 인프라 장비 구성도 고려해야 하고, 서비스의 연속성도 고려하게 됩니다.
따라서 작업 그룹을 나눠서 작업 진행하는 경우가 많습니다.
예를 들어 Standby 그룹, Active 그룹 이렇게 나눠서 작업을 하게 됩니다.
물론 WAS #1, WAS #2 먼저 작업 할 수도 있고요,
WAS #1, WEB #1, DB #` 이렇게 작업 할 수도 있습니다.
어떤 절차로 작업하는 것이 효율적인지는 서비스 내용에 따라 판단 해야 할거 같습니다.
일단 현 상황 정확하게 파악하셔야
합니다.
active-standby 형태라면 standby 부터 먼저 작업 하시는게 맞습니다.
사전 절체 먼저입니다 health check disable 시키고 하세요..
그리고 standby 장비들이 모드 가동 되면 active로 전환 후 이전 active 장비도 정비하시면 됩니다.
전체 AP, DB, Web 등이 이중화 되어 있다면 어떤 방식을 사용하던 큰 문제는 없을 듯 합니다.
PM 을 하는 이유가 여러가지가 있을 텐데,
제일 큰 이유가 이중화 관련 테스트도 있는 만큼 각 서버를 1대씩 Off 했을 경우의
서비스 지속성을 테스트 하는 것일 텐데요,
PM 시간이 얼마나 되느냐에 따라서 정하시면 될 듯 해요.
여유가 있다면 하나씩 끄면서 해보는게 제일 심플하고 쉬울테고,
시간이 촉박하다면 말씀하신것처럼 AP, Web, DB 1개를 동시에 하는 방식으로 하셔두 되구요~~
우선 환경에 대한 파악이 우선이겠네요
1.windows , linux , unix 구성으로 되어 있는지 확인 필요
2.ap, web, was , db 서비스 ( app, apache, tomcat, mssql, mysql, postsql ) 인지 파악
3.이중화 HA 구성에 대한 정보 ( cluster- veritas , life keeper) 등 여러 ha 가 있을것 같은데요 ,확인 필요한데요 서비스별 time out 정보도 다르고 서비스마다 차이점 다름
4.각 운영자 ( ap, web,was,db) 분들의 도움이 필요함 , 서비스마다 특성이 있다보니 한쪽 노드가 정상적으로 내려간 후 확인 HA ( active-stanby) 로 넘겨야 함 , 가장 중요한게 현재 서비스가 되어있고 DB에 데이터가 들어오는 상태인데 임의대로 내리면 안됨
5.각 (ap,web,was,db) 쪽이 나몰라 한다면 책임은 그쪽에 있음,, 해당 내용 공문이나 작업요청 메일로 보내고 메일 회신 요구하세요
kooling007 | 11달 전
말씀주신것처럼 공문이나 작업요청 메일 보내는게 맞는거 같습니다.
평상시엔 일 외적으로는 다들 친하게 진해서 구구절절 메일로 쓰는것 보다 말로 요청해보고 자세한 내용을 메일로 공유하는 것이 편할거라 생각했는데, 왜 인프라 작업때문에 API를 귀찮게 하느냐 하면서 완전 정색을 해대고, 다른 API 담당자는 안그러는데 유독 그분만 그러다보니, 다른 API 담당자들도 이렇게 생각하는거 아냐 하는 생각에 전처럼 물어보거나 업무 협조 구하지도 못하겠더라구요
요즘 이것 때문에 너무 스트레스 받아서 한풀이 해봤습니다.
적어주신 내용 잘 참고해 가지고 진행해 보겠습니다.
감사합니다.
Genghis Khan | 11달 전
IT가 업무적으로 봐야 하는데 관계로 보는게 좀 그래요
스트레스 많이 받지 마시고 잘 풀어 해결하시길 바래요
패치하고 그런 작업이라면
1 스탠바이 서버군에 먼저 적용 후 재부팅
2 스탠바이 서버군 이상유무 확인
3 스탠바이 서버군을 액티브로 전환
기존 액티브 서버군도 동일하게 1 2 3 진행
이런식으로 ??
kooling007 | 11달 전
아 저는 스탠바이의 서비스를 액티브로 옮기려면 액티브를 먼저 끄고 켠 다음 스탠바이를 꺼서 액티브로 옮겨야 겠다라고 생각했는데(L4 이중화 입니다.)
패치는 진짜 스탠바이에 먼저 적용하는게 안정적으로 갈수도 있겠네요
감사합니다.
API 운영자들과도 친분을 쌓을 필요가 있을 것 같아 보이네요.
모르는걸 물어 본다거나 협조를 구하는데 짜증 내거나 기분 나빠할 일은 아니죠.
API 운영자 쪽의 인성에 문제가 있는건지 아니면 질문자께서 대화 기술을 익힐 필요가 있는지는 잘 모르겠지만...
어떤 프로젝트를 진행하려면 다양한 사람들의 협조와 협력을 요구하게 됩니다.
나는 충분한 자질을 갖추고 있는데, 누구 때문에 인수를 제대로 받지 못했다거나 누가 제대로 협조해 주지 않는다하는 건 일에 접근하는 근본 마인드에 문제가 있다고 보여 지고요.
능력 있는 사람은 어떤 나쁜 조건 속에서도 목적 달성을 위한 계획을 세워서 순차적으로 하나 하나씩 해결해가게 됩니다.
전임자 인수 인계 제대로 받지 못한 문제도 다른 어떤 방법을 통해서라도 스스로 부족분들을 채워서 기반을 마련하는 것이고, 협조 하지 않는 사람이 있다면 협조를 유도할 방법을 찾아 내거나 다른 사람을 통해서라도 원하는 협조를 찾아 내게 되는 것이고요.
남탓하기 전에 스스로를 먼저 돌아 보는것이 좋을 걸로 보여 집니다.
서비스를 완전히 내리고 작업을 하건 일부 서비스를 올려두고 작업을 하건 시스템 작업을 진행하려 한다면 내부적인 서로 관계된 서비스들간의 관계들 부터 먼저 파악해야 합니다.
여기서 어떤 작업이 진행되고, 그 결과를 저기서 처리를 해서 어떤 곳으로 넘겨주고, ...
그런 관계들을 제대로 파악하고 있어야 작업 진행 중 또는 완료 후에 어떤 문제가 발생했을 경우에 원인을 신속히 파악해서 바로 잡을 수 있게 됩니다.
서비스들 간의 관계들을 충분히 파악하지 못한 상태에서는 프로젝트를 맡아서는 안됩니다.
프로젝트를 진행할 수 있는 만큼의 자질이 안되기 때문에 제가 할 수 있는 일은 아니라며 해당 프로젝트를 담당하는 것을 사양하는 것이 맞을 걸로 보여집니다.
억지로 추진하려다가 잘못된 작업으로 인해 감당하기 어려운 상황에 처해 질 수 있기 때문에 정중하게 사양하는 것이 결과적으로 본인에게 이로울 수 있습니다.
서비스들간의 관계를 미리 충분히 파악하는게 최 우선적으로 필요합니다.
대충 이럴 것이라는 식으로 추정하면서 작업을 진행시켜서는 안됩니다. 사소한 내용 때문에 일이 심각한 상황으로 치달을 수도 있게 됩니다.
서비스들 간의 관계나 역할이 명확하게 정리가 되지 않는다면 업무가 없는 시간이나 업무가 적은 시간을 통해서라도 검증해 보는 시험을 해 보아야 합니다.
미리 충분한 계획을 세워서 여기서 이런 작업이 진행된다면 저기서 어떤 결과가 나올것이다. 저기서 어떤 결과가 나오면 여기서 이런 작업을 한것이 확실하다는 검증 자료들을 오차 없이 계획을 세워서 확인을 해 봐야 하겠고요.
가급적이면 서비스를 중단하지 않고 검증해 볼 수 있는 방법들을 우선 찾아 보는게 좋을 걸로 보이는데...
DB에 기록되는 내용들에 대한 비교 검토, 네트워크 트래픽 캡쳐 내용들의 비교 검토 등으로 확인해 본다거나 Test용 자료를 만들어서 어떤 과정을 통해서 어떻게 처리되는지를 확인해 볼 필요가 있겠고요.
작동하는 서비스 프로그램들의 소스 코드들이 있다면 소스 코드를 분석해서 관계들을 명확화 시키는것이 가장 좋을 방법일 수 있겠고요.
상황에 따라서는 업무량이 적은 시간대를 통해서 실무 담당자들의 협조를 구한뒤에 특정 서비스를 중단 시킨 후에 어떤 결과가 나오는지를 비교 검토하면서 관계들을 명확화한 후에 작업 순서를 계획하고 작업에 들어 가야 합니다.
전체적인 상황을 잘 판단해서 감당할 수 있는 일이 아니라 판단된다면 사양하는 것이 현명한 선택이 될 수 있을거라 보여지네요.
kooling007 | 11달 전
전 능력 없습니다. ㅜㅜ
능력 있으면 이렇게 도움을 구하겠습니까.
혼자서 그냥 쓱싹쓱싹 하겠죠 ㅜㅜ
의견 감사합니다
이중화 방식이 어떻게 되어 있느냐에 따라 달라지겠네요.
서비스가 계속운영되야 한다면 정확히 확인하고 작업하셔야겠습니다.
전자방식은 깔끔하고 빠르긴하나 리스크부담이 있어보입니다.
후자방식을 추천드립니다.
kooling007 | 11달 전
저도 후자가 더 나은거 같았는데, 해본적이 없으니 확신을 못하겠더라구요
의견 감사합니다.
먼저 각 장비별 역활을 파악을 하시는게 우선 일것 같네요.
그리고 서비스 순서를 정하시면 정방향 역방향 정해 질거라고 봅니다.
kooling007 | 11달 전
넵 감사합니다
그곳에서 운영되는 서버, OS, AP, WAS, WEB, DB 등을 모르는 상태에서
이래라 저래라 설명해드리는건 어렵습니다.
소프트웨어 종류에 따라 구동방식, 순서가 다 다르고,
같은 소프트웨어라 하더라도 어떻게 구성했냐에 따라 또 다릅니다.
가능한지 모르겠지만, 전담자에게 물어보는게 가장 좋지 않을까 생각됩니다.
kooling007 | 11달 전
제가 전담자입니다. ㅜㅜ
전임자는 인수인계 1시간 30분 해주고 어디론가 가버렸고, 문서는 몇개 있는데 제가 원하는 내용은 아니고 인프라 운영자는 저 혼자라 그 안에 돌아가는 API 업무들 영향도 파악하려고 API 운영자들에게 물어보면 왜 그걸 자기한테 물어보냐고 되려 역정 내고
그래서 혹시 이런식으로 PM 작업을 하는 곳이 있는지, 한다면 어떤식으로 하고 있는 참고를 얻고자 올렸습니다. ㅜㅜ
topkslee | 11달 전
몇년동안 했던 일을 1시간 30분동안 업무인수인계 ㅎㄷㄷ
서비스 중인 시스템이라 임의로 할수도 없고
그래로 이전에 PM을 했으면 전임자가 가장 잘 알것 같으니
어렵더라도 전임자를 찾아가든 밥을 사주든 잘 이야기 해보는게 좋지 않을까요?
kooling007 | 11달 전
아니에요 ㅎㅎ
운영된지 이제 3개월된 시스템이랍니다.
구축했던 전임자도 저희 회사사람도 아니고, 그분도 관리만 하고 실제 업무는 다 다른 협력업체에서 통해서 한거라 잘 모르시더군요. 구축단계에 협력업체들이 작성된 메뉴얼도 모두 한꺼번에 끄고 올린다라는 식으로 작성되서 현재 상태에 맞지 않더라구요
너무 막막해서 이렇게나마 올리게 되었습니다.
이렇게라도 말을 하니 답답한게 풀리네요
즐거운 연휴 보내시길 바랍니다.