이틀동안 고민하다가 답이 안나와 글을 써봅니다.
사내 네트워크 구성은 UTM - L2 - 서버팜 단순 구성인데
서버1(DB) 서버2(WAS) / GW(UTM)
192.168.0.2 192.168.0.3 192.168.0.1
이라 했을때 지금 이상한점이 내부망은 별도의 정책없이 올 허용인데
같은망 PC 사용자들에서 서버2 대역 핑 끊김 현상 발생
서버 1 <-> 서버 2 정상
서버2 <-> GW 비규칙적 핑 끊김 (대부분)
서버2 <-> 외부 (KT DNS 등) 비규칙적 핑 끊김 (대부분)
서버2에서 게이트웨이까지도 핑이 끊기니 당연히 외부도 끊기구요.
문제 없이 잘 사용했었는대 갑자기 어제부터 웹페이지 속도도 느리고 접속이 잘 안되길래
확인해보니 이런 문제가 있네요.
일단 서버는 centos 7.9 고, firewalld 내리고 해봐도 동일했습니다.
서버 랜포트 다른포트로 변경, 스위치쪽 포트변경 및 다른 스위치 변경 해도 동일했구요.
UTM 쪽에서 패킷을 봐도 정상 수발신 로그만 뜹니다.
서버 리붓 스위치 재부팅 해봤습니다.
추가적으로 더 확인해볼 사항이 있을까요?
8개의 답변이 있습니다.
경험상 인터넷 공유기 등을 잘못 사용하거나, IP를 잘못 사용하는 경우에 발생되는 현상 입니다.
직원 개개인이 문제 발생에 대한 심각성을 인지해야 하는데,
나혼자 편하자는 생각, 아무런 문제 없겠지 하는 생각이 이런 사태를 만들고 있습니다.
인터넷 잘 되다가 아무런 작업도 안했는데 느리거나 또는 안되는 현상의 원인은 대부분 비슷합니다.
자문자답이긴한데.. 일단 서버측도 스위치 측도 방화벽쪽도 이상로그는 계속 없었구요.
혹시나해서 L2스위치쪽 arp 테이블을 보는대 핑이 나갈땐 서버맥이고 안나갈땐 맥이 변하더라구요.
확인결과 특정인원이 서버 IP 를 PC 에 넣어서 충돌 낫더라구요 ㅎㅎ...
원인은 찾아서 다행이긴 한데...nac 도입을 검토해봐야겠습니다...
서버1과 서버2 간에는 정상,
서버2와 게이트웨이 간에는 장애 발생
서버1과 게이트웨이 간의 연결 상태가 어떤지 궁금하네요.
잘 되다가 갑자기 안된다면...
소프트웨어적인 문제일 가능성 보다는 하드웨어적인 가능성이 높지 않을까 하는 생각이 드네요.
서버1과 서버2간의 연결이 정상적인걸로 보면...
서버2와 게이트웨이 간의 하드웨어적인 연결에 있어 어떤 문제가 있을 가능성이 높지 않을까 싶고요.
서버1과 서버2의 연결은 괜찮은데...
서버2와 게이트웨이 간의 연결이라면... 스위치와 게이트웨이 간의 연결에 어떤 하드웨어적인 문제가 있을 가능성이 있지 않을지 검토해 보는 게 좋지 않을까 싶어 보이네요.
물론 소프트웨어적인 문제를 완전히 배제할 수 있는 것은 아니고요.
하드웨어적인 문제를 우선 검토해 보는 게 문제를 해결하는데 도움이 되지 않을까 하는 생각이 드네요.
스위치에서 ping 날려보시죠. 증상으로 봐선 중간 스위치 문제 아니면 UTM 포트 문제 같이 보입니다만.
1단계식 체크 해보셔야 알 듯 하네요.
제가 봤을 땐, 어찌됏건 GW가 방화벽 장비고, 그 GW에 바로 서버를 붙인게 아니라
스위치 장비를 붙였을테고, 그럼 GW인 UTM 장비와 스위치 간의 인터페이스 duplex 맞추면 될것같습니다.
그거 외엔 문제가 보일만한게 없습니다.
지금의 증상으로는
■서버2의 네트워크 관련 문제
■서버2 <-> L2 간의 문제
두가지로 밖에 볼 수가 없을 듯 한데요....
이런 경우가 제일 난감하고 해결하기 어려운 부분이 있기는 하죠...
아예 통신이 안되면 모르는데, ping 만 끊기는 상황이라...ㅜ,.ㅜ
Firewall 을 내린다고 해도 내부의 어떤 다른 문제 때문에 그럴 가능성도 있어 보입니다.
한가지 테스트 해 볼 것은 해당 서버를 내리고,
해당 서버에서 사용하던 네트워크 케이블을 이용, 해당 서버의 IP를 다른 서버나 PC로 할당하고
연결해서 동일한 문제가 나오는지 체크 해 보시면,
해당 서버에 문제가 있는지 아니면 다른 문제가 있는지 체크해 볼 수 있을 듯 합니다.
해당 서버에 문제가 있다고 판단이 되면 문제점을 찾아 보면 되는데,
문제점 찾기가 어려울 경우에는 OS 재설치가 답일 수도 있습니다.
같은망 PC 사용자들에서 서버2 대역 핑 끊김 현상 발생
1) 서버 1 <-> 서버 2 정상 : 같은 망이고 was - DB 문제가 발생 되면 큰일
2) 서버2 <-> GW 비규칙적 핑 끊김 (대부분) :
--> 갑자기 문제 발생 시 확인 사항 중 네트워크를 확인 할 수 있지만 인터페이스 변경도 했고
rebooting도 했다면 WAS쪽 환경설정 또는 패치 했는지 확인 필요해 보이구요
netstat -ano 명령어로 time out/ keepalive 상태 확인이 필요해 보입니다. 문제가 발생되는게
port 또는 통신 방식에 문제로 보이네요
3) 서버2 <-> 외부 (KT DNS 등) 비규칙적 핑 끊김 (대부분)
서버2에서 게이트웨이까지도 핑이 끊기니 당연히 외부도 끊기구요.
->DNS를 다른 DNS로 변경해 보고 테스트를 해보세요 아니면 WEB/WAS 설정에서 test 도메인으로
변경해서 문제 없는지 체크해 보시구요
문제 없이 잘 사용했었는데, 갑자기 어제부터 웹페이지 속도가 느리고 접속이 잘 안되는 상황에서 물리적으로 서버 랜포트 다른포트로 변경, 스위치쪽 포트변경 및 다른 스위치 변경 해도 동일했다면,
- ifconfig 또는 ip a를 사용하여 서버2의 네트워크 인터페이스 상태 확인
** 필요에 따라 traceroute 또는 tracert 로 서버2에서 게이트웨이 및 외부 호스트까지 경로 확인
- 서버와 게이트웨이 간 MTU 값이 일치하는지 체크, 일치하지 않으면 패킷 손실이 발생 함
- systemctl restart network 명령어를 사용하여 서버2의 네트워크 스택 재설정
추가적으로 서버2 로그(var 아래 log 아래 messages 와 syslog), 서버2의 방화벽 정책과 포트 그리고 UTM 로그를 다시 한번 살펴보세요.
특이사항이 없는 데 이런 경우가 발생한다면 답답하지만, 하나씩 체크하다보면 실마리가 나올 수 있습니다.
you got this!!!!