안녕하세요?
회사에 ERP 시스템과 연계되어서 작동하는 시스템이 하나 있는데요.
ERP 개발사에서 개발하고 유지보수를 하고 있는데 알 수 없는 이유로 인해서 해당 웹페이지가 자꾸 사용자가 사용 도중에 뻗어 버립니다. 웹페이지가 그냥 무한데로 로딩이 걸리는......
개발사 측에서도 문제 해결을 못하고 있는데요, 이게 하루에 6~7번씩 뻗어버리니 스트레스가 이만저만이 아니네요...... 당장에 급한 솔루션은 IIS 서비스 리스타트 하면 무난히 넘어갈 때가 있고, 해결이 안되서 몇차래 리스타트 후 정상가동 하다가 다시 멈추고를 반복하고 있습니다. 하루에 6~10번 씩 IIS 리셋을 하고 있는 실정입니다.
OS : Windows server 2012 R2
Service : IIS 8.5 version
Error Log : A process serving application pool 'XXXXX' suffered a fatal communication error with the Windows Process Activation Service. (XXXX=해당 어플의 이름입니다.)
Debug Diag tool 관련해서 수행도 해봤는데 별다른 원인을 찾기가 어렵네요. 개발사 쪽에서 관심을 갖고 봐주고 있는건지 아닌건지도 모르겠고요..... 최소 2년 정도는 해당 시스템을 더 사용해야 하는데 이러한 컨디션으로는 운영이 불가능 할 것 같아요.
혹시 어떻게 해야 도움을 받을 수 있을까요?
다른 거래처 서버 전문가(?) 분에게 문의드려도 개발사 아니고서야 답이 없다고 하는데요.....
많이 답답합니다.....
8개의 답변이 있습니다.
주기적인 IISrecycle을 설정하세요 요청량으로 하든 시간단위로 하던...
임시방편입니다.
Steve Lee | 약 일 년 전
IIS Recycling 주기가 Regular time Intervals 1740 min 으로 설정되어 있는데 해당 설정치를 낮춰보고 상황을 봐보라는 말씀이신지요? 이방법이 솔루션이 됐으면 좋겠네요 ㅠ_ㅠ
vmware 위에 운영하신다고 하셨는데요.
원인을 바로 찾으면 좋겠지만 원인 규명에 시간이 많이 걸리면 계속 리셋이나 리부팅을
하기에는 어려울텐데요.
PLAN B로 VM을 하나 더 구성하여 IIS를 새로 세팅하는게 더 빠를 수도 있습니다.
Steve Lee | 약 일 년 전
이게 진짜 꼬여버릴데로 꼬여버린점이....... 해당 App에 연계되어 있는 솔루션들도 몇개 있고 해당 웹사이트가 일반 사용자들이 아닌 특수한 몇몇 사용자만 업무작업을 위해 사용하다보니 테스트 해보기도 어렵네요....... 모든 관계 업체들이 다 도와줘야만 테스트 환경 구축이 가능하다보니.....ㅠ_ㅠ
결자해지가 맞고, 해당 개발사 측에서 웹서버측으로 보내는 데이터, 값에 대한 조정등을 해보면서 원인을 분석하거나 적어도, 자사측에서 웹서버로 보내는 데이터에 대한 로그를 전부 남겨서 시간비교를 하면서 충돌원인을 만드는 데이터를 찾아봐야 할겁니다. 아래에 풀사이즈 이야기도 있으시니 그 부분도 봐야 하는데
느낌상 데이터의 크기가 생각보다 클 수 있으므로 어떤 데이터가 전달되는지 부터 확인이 되어야 하는데 목마른 사람이 우물을 판다지만 상황이 영 좋지 못하네요...
Steve Lee | 약 일 년 전
개발사 측에서는 들여다보지도 않고 있는 것 같습니다.....
서버쪽 리소스 모니터링 해보니 네트워크 사용량이 피크를 많이 찍고 있네요...
미생 | 약 일 년 전
그냥 추정적인 부분이고 느낌적인 부분입니다만, 근태, 출입기록 같은 데이터들을 일정 주기마다 동기화를 하신다거나 하는 형태로 무언가를 진행하신다면 해당 정보가 한번에 당겨질 적에 그 정보들에 대해 파싱을 하는데 한계가 있을 수 있습니다. (일반적으로 이런 데이터들은 출퇴근이 몰리는 특정시간대에 데이터가 많이 나오고, 평시에는
이런경우에는 웹서버쪽에서 받는 최대 패킷이나 1회 수용가능한 데이터의 양을 늘리시는 방법과, 보내는 측에서 보내는 개수를 제한적으로 끊어서 시간의 여유를 두고 다회로 보낼 수 있도록 처리하시는 방법이 있을 거라고 생각됩니다.
일반적인 경우 기존 웹서버 구성을 뒤집지 않고 최대한 개발사 측에서 필요한 형태로 조정을 하는게 필요하다고 보이는데 이에 대한 충분한 협의와 개선의 과정에 대해 개발사에 요청을 하시는게 맞습니다. 근데 이미 기 구축된 연동에 대해 서비스가 시작된 만큼 배를 잘째는 슈퍼을들이 많기는 해서...
ERP 쪽에서 들어오는 서비스로 인해
Pool size가 작아서 그런거 아닐까요?
Pool size을 늘려 보사고 test 해 보세요
Steve Lee | 약 일 년 전
오늘 네트워크 쪽 리소스 모니터링을 해봤는데 피크를 치키는 하네요.... 업무 집중 시간에요.
Pool 사이즈는 어떠한걸 말씀하시는걸까요? 죄송합니다 지식이 별로 없어서 ㅠ_ㅠ
기본적으로 개발사측에서 원인을 찾아 내야 하는게 맞을 듯 한데요,
그와 병행해서 서버의 Log 도 정밀분석을 요구 해 보세요.
가끔은 아주 쉬운 곳에서 원인이 발견되기도 합니다.
Windows 관련해서는 서비스팩이나 Update 등으로 해결이 되는 경우도 많더라구요.
Steve Lee | 약 일 년 전
개발사 측에서는 적극적으로 문제해결하고자하는 의사가 없어보입니다.......
저희 측 환경에 대한 핑계만 댈 뿐..... 그래서 하나 하나 따박 따박 다 조사하고 답변 했더니 무응답이네요..... 나름 대기업인데 왜저리는지 모르겠어요....
IIS로그도 확인을 해보셨나요? 문제가 없으면 모니터링으로 작업관리자 확인 해보시구요~
어떤 리소스가 많이 차지 하는지도 확인 해볼필요가 있습니다.
Steve Lee | 약 일 년 전
IIS 로그부터 먼저 확인 해봐야겠네요.감사합니다.
하드웨어 검사부터 해 보아야 하지 않을까 싶어 보이네요.
메모리와 디스크에 물리적인 오류가 있는 것이 아닌지를 먼저 확인해 보는 게 낫지 않을까 싶어 보이고요.
서버에서 다운되기 때문에 서버에서 작동하는 개발된 어플리케이션 (서버릿)이 있다면 서버릿 개발자가 원인을 찾아서 해결해 주어야 할 것 같아 보이네요.
통신 오류가 생긴다해서 서버가 다운된다는 건...
서버릿에 Exception 처리가 제대로 안되어 있거나 하드웨어 문제가 아닐까 하는 생각이 드네요.
Steve Lee | 약 일 년 전
VMware Server 중 한대이고 해당 서버만 문제를 일으키고 나머지 서버는 정상작동하는 걸로 하드웨어 문제는 아닌것 같습니다. 서버가 다운되는건 아니고 사용자 웹페이지가 멈춰버리는 증상입니다. 어렵네요......
wansoo | 약 일 년 전
가상 컴퓨터에서 운영하신다면...
가상 컴퓨터를 다른 호스트 컴퓨터에 복제해서 구동시켜 보는 것도 어렵지 않을것 같아 보이는데요.
가상 컴퓨터를 복제해서 Test 서버로 구동해서 다양하게 Test 해 보는 게 어렵지 않을것 같아 보이는데...
불필요하게 설치된 다른 서비스들을 제거 시켜 보기도 해 보고...
wireshark나 시스템을 모니터링해 볼 수 있는 다양한 툴들을 Test용으로 복제해둔 가상 컴퓨터에 설치해서 구동해 보면서 서버에 여러가지 방법으로 Stress를 인위적으로 가해 보면서 어떤 조건에서 다운되게 되는지를 확인해 보는게 어렵지 않을것 같아 보이기도 하네요.
가상 컴퓨터가 아닌 물리 컴퓨터라해도 P2V 툴을 이용해서 가상 컴퓨터로 서버를 그대로 마이그레이션해서 Test 환경을 구축해서 Test 해 볼 수 있을 것 같고...
도움이 되실지 모르겠네요..
저희도 비슷한 경험을 해봤는데요, 메뉴 1개만 클릭해도 해당서버 리소스(CPU,RAM,디스크)가 전부 100%가되어 엄청느려지거나 아예 뻗어버렸습니다. 디버그툴도 소용없었구요,
이것저것 뜯어서 찾아보니 특정 로그가 쌓이는 파일 용량이 지나치게 높아져 읽을수 없는 상태였습니다.
어차피 필요없는 로그파일이라 해당파일 제거하고 현재까지도 정상 운용되고있습니다.
Steve Lee | 약 일 년 전
서버 자체의 성능에 대한 모니터링 했을 때는 CPU나 메모리 모두 안정된 상태로 운영이 되고 있어서 뭔가 어플리케이션 내부 문제로 보이는데요. 이 이상 더 깊게는 제 수준이 안되서 파보지 못하고 있습니다. ㅠ_ㅠ