저번주 토요일 아침에 메일을 확인하려는데...
스팸 메일이 수천 통이 쌓여 있고... 끝임없이 스팸이 계속 쌓이고 있더군요.
발신자 메일을 제 메일 주소로 해서 구글 등의 임의의 사용자들에게 대량의 메일이 발송되어...
구글 메일 서버가 수신 거절했기 때문에 메일이 다시 되돌아 오는 걸로 보였고...
그리고...
메일 서버에 원격 접속하지 못하도록 차단되어 버린 상태로...
서버를 재 부팅해도 원격 접속이 안되는 상태로 차단되어... 서버 앞에서 직접 상황 파악을 해야 하는 상황이라... 작업의 어려움도 있고...
이미지 백업 받아둔 이전 상태로 메일 서버를 복원해서 서버를 가동하면 일정 시간 원격 접속이 가능하다가 다시 원격 접속이 차단되는 상태로 전환되고, 재 부팅후에도 원격 접속이 안되는 상태가 되어 버리더군요.
메일 서버 자체에 해커가 침입해서 조작을 하고 있기 때문일거라는 확신이 들더군요.
오래 간만에 겪는 상황으로 무척 당황 스럽더군요.
머리속이 하얗게되면서... 무엇을 먼저해야 할지, 뭘 어떻게 조치를 취해야 할지 갈피도 잡히지 않고...
이러다 구글등의 메일 서버들이 블랙리스트로 처리해 버린다면 블랙 리스트 해제하기 위해 애를 먹겠다는 생각도 들고...
한동안은 갈팡질팡 하며 서버를 재부팅해 보기도 하고, 네트워크를 끊거나 서비스를 내려 보기도 하고...
이미지 백업 받아둔 메일 서버 리눅스 시스템을 다시 복원하고 외부 네트워크를 차단한 상태에서 내부 사설 IP를 통해서 인터넷을 허용하고, 시스템 최신 패치 적용하고 쌓여 있는 메일들을 하나 하나 살펴 보면서 발신 메일 서버의 IP들을 찾아서 해당 메일 서버에서 보낸 메일들을 다른 메일 서버로 전달하지 못하도록 차단 등록을 했는데... 쌓여 있는 메일도 너무 많고, 발신 메일 서버들도 아주 많아... 일일이 찾아 수작업 차단 등록하는 건 너무 비효율적인 것 같아 포기하고...
파이썬으로 수신 메일 분석 프로그램을 만들어 발신 메일 서버들을 추출하여 자동 차단하는 방법을 시도하다... 시간이 너무 많이 소요될것 같아 다음으로 미루고...
메일 서버에 원격 접속한 해외 IP 주소들을 찾아서 iptables에 차단 등록 시키는 작업들을 시도했었네요.
아직 상황을 지켜보고 있는 중이긴 한데...
-A INPUT -s 114.35.116.153/32 -j DROP
-A INPUT -s 117.194.168.92/32 -j DROP
-A INPUT -s 122.130.209.141/32 -j DROP
-A INPUT -s 162.247.241.2/32 -j DROP
-A INPUT -s 162.247.243.22/32 -j DROP
-A INPUT -s 175.30.115.217/32 -j DROP
-A INPUT -s 193.222.96.89/32 -j DROP
-A INPUT -s 209.164.247.215/32 -j DROP
-A INPUT -s 220.146.34.182/32 -j DROP
-A INPUT -s 47.98.142.212/32 -j DROP
-A INPUT -s 62.84.10.123/32 -j DROP
-A INPUT -s 85.173.196.126/32 -j DROP
-A INPUT -s 90.150.19.245/32 -j DROP
정도의 IP 들에 대한 차단 처리를 한 상태인데...
메일 서버가 정상 운영되고 있는 것으로 보여지네요.
사실... 지금 메일 서버가 정상 운영되고 있는 게...
서버 패치 작업으로 인한 결과인지, 위의 IP들에 대한 차단 설정을 했기 때문에 의한 결과인지...
아니면, 공격을 일시적으로 멈췄기 때문에 의한 것인지 정확하게 판단되는 상황은 아니지만...
일단 지금은 정상적인 운영상황인걸로 판단되네요. ^^;;
몇일 더 상황을 지켜 보면서 보완이 필요한 내용도 찾아 보고,
문제의 원인도 좀 더 찾아 보고 해야 할 것 같고...
예전 부터 미루어 왔던...
악의적인 접속 시도 IP들을 찾아 내어 자동 차단 처리하는 스크립트 프로그램도 만들어 보아야 할 것 같고, 수신 메일을 분석하는 프로그램도 만들어 보아야 겠다는 생각이 드네요.
24개의 댓글이 있습니다.
우와우 무지하게 고생을 하셨겠네요`
아직 끝나지 않은 창과 방패의 싸움을 하고 있는 중입니다~ ^^;;
저흰 스팸메일 차단솔루션 도입했어요. 물론 차단되는 경우도 있긴 한데
스팸 차단 솔루션 도입이 정신 건강에 이롭습니다~ ^^
스팸 발송 IP를 추출하여 자동 차단 처리하도록 스크립트를 하루 정도 돌리고 있는 시점인데...
새로운 IP를 이용하여 지속적으로 스팸이 들어 오고 있다가...
이제는 스팸 발송 IP 주소의 고갈 상태로 간 것인지, 새로 추가되는 스팸 IP가 뜸해 지고 있는 것 같네요.
일시적으로 작전상 후퇴인지... 아니면 추측처럼 IP의 고갈 상태인지는 좀 더 지켜 보아야 할 것 같긴하지만...
공격자와의 전쟁에서 승리를 거둘 수 있을 것 같다는 느낌이 드네요~ ^^
바로 표가 나는 공격도 있고
몇개월간 조금씩 빌드업해서 한방에 터트리는 케이스도 있어
주기적인 점검도 필요하더라구요.
어째든 고생하셨습니다.
몇일 스팸이 들어오지 않아 스팸 문제가 해결되었나 했는데...
어제 저녁부터 갑자기 다시 스팸이 쏟아져 들어오고 있네요~ ㅠ
syslog로 부터 스팸 발송에 사용된 IP 주소를 추출해 낼 수 있어서 syslog로 부터 IP 정보를 추출해 내어 자동 차단 등록하는 스크립트를 만들어 계속적으로 반복 처리하도록 해 두었는데...
한번 처리할 때마다 2~3분 정도 시간이 소요되는 작업인데...
스팸에 이용되는 IP가 계속 바뀌고 있어...
그 몇분간 수십통의 스팸이 수신되고 있는 상황이라...
자동으로 차단 처리하고 있어도 한계가 있어 좀 더 다른 보완적인 방법을 고민해야할 처지이네요...
쉽지 않네요. ㅠ
아... 그 상황이 이해가 되니 마음이 아프네요.
빨리 정상화 되시길... 응원합니다.
참고하겠습니다.
요즘 여기저기 스팸성 메일로 시달리는 주변 인들이 있는데,
해커들의 나들이 기간인가 보다 하고 웃고 넘겼는데, 여기서도 관련 글을 보게 되네요...
개인적으론 방화벽, 웹방화벽 패턴 이나 정책 설정 등으로 차단을 하는데 ...
방법이야 여러가지가 있을 테니 현 상황에 맞게 적용하고 모니터링 하는것이 최선인 듯 보입니다.
지금은 스팸 메일은 해결된 상태인데...
구글에 우리 메일 서버에 대해 차단 처리된 걸 해제해 달라고 요청을 해야 하는 문제는 남아 있는 상태이고...
그리고, 원격 접속을 시도하려는 공격이 엄청나게 있네요.
어제 하루 발생한 로그를 살펴 보니...
중국에서 엄청난 접속 시도가 있었더군요.
5000번 이상, 3000번 이상 시도할 정도로...
어제도 놀랐는데... 오늘은 더 놀라게 되네요.
시도횟수 IP주소 위치
5177 110.183.19.110 (CN 중국)
3208 1.70.179.91 (CN 중국)
83 124.89.86.230 (CN 중국)
34 113.200.137.48 (CN 중국)
30 175.153.249.246 (CN 중국)
11 77.53.25.153 (SE 스웨덴)
10 94.190.231.28 (CN 중국)
10 92.203.46.45 (한국 KT)
10 75.191.144.59 (US 미국)
10 70.15.198.113 (US 미국)
10 58.47.20.153 (CN 중국)
10 46.44.12.173 (RU 러시아)
10 42.239.255.98 (CN 중국)
10 37.195.154.86 (RU 러시아)
10 23.28.156.69 (US 미국)
10 220.249.142.90 (CN 중국)
10 210.139.50.93 (NTTPC Communications, Inc.)
10 182.35.199.156 (CN 중국)
10 167.179.60.218 (HK 홍콩)
10 14.199.97.23 (HK 홍콩)
10 114.35.124.16 (TW 중화민국)
10 114.217.95.71 (CN 중국)
10 112.147.124.46 (KR 대한민국)
10 110.183.146.177 (CN 중국)
10 110.182.169.65 (CN 중국)
8 222.92.26.154 (CN 중국)
6 108.14.29.114 (US 미국)
4 90.230.115.157 (SE 스웨덴)
고생 하십니다.
다하는 고생...
그러려니 하면서 즐기면서 해야죠~ ^^
고생 많으시네요.
저 같으면 벌써 포기 했을거 같아요.
포기하면... 뒷 감당 안될 일이 있기 마련이다 보니...
처음에는 당황하며 갈팡 질팡했어도...
이제는 정리가 되어 가는 것 같습니다.
배우는 것도 있고, 나름의 의미도 찾을 수도 있고...
그 동안 미루어 뒀던 일을 어쩔 수 없이라도 하게 되어 보람도 느껴집니다. ^^
실질적으로 거래하는 국가 제외하고는 해외IP 차단 정책을 사용하시는게 좋지 않을까요?
안정화가 된 것으로 보여 집니다.
다른 서버에도 사용할 수 있는 몇가지 툴을 스크립트로 만들고 있는 중입니다.
문제 있는 IP들만 추출해 내어서 차단 처리하려고 합니다.
telnet, ssh를 통해서 접속 시도를 하는 IP들이 계속적으로 나오고 있네요.
ssh 서비스를 중단 시켜두고, telnet을 통해서 연결 시도하는 ip를 차단하면서 로그를 남기게 해 둔 상태에서 메일 서버가 안정적으로 작동중에 있습니다.
netstat과 ps 명령으로 외부 연결 상태를 지속적으로 모니터링하고 있고...
매 1초마다 반복 체크하면서 telnet 접속 시도 있을 경우에 프로세서 자체를 kill 시키며, IP 정보와 whois 명령을 이용해서 국가 정보를 추출해 내어 log를 기록하고 있고 있는 상황이네요.
기록된 로그를 기반으로 IP 정보를 기반으로 정렬을 해서 반복 접속 시도 횟수를 표시하는 스크립트도 하는 만들 생각이고...
시간 간격을 정해 두고, 일정 시간 이내에 몇회 이상 반복 접속 시도하는 IP가 있을 경우에 iptables에 자동 접속 차단되게 등록하는 스크립트도 만들 예정입니다.
능력자분은 다르시군요 ㅎㅎ 고생이 많으신만큼 안정적인 운영이 될거같습니다!
에고고.. 어둠의 세계의 공격이 무섭습니다.
저도 예전 기억에 SQL 로그 보니 .. 중국/러시아등에서 엄청 접속을 시도하는 것을 보고
조금만 방심하면..큰일 당하겠다는 생각이 들더라고요..
잘 해결하시길 바랍니다.~
공인 IP가 할당되어 있다는 자체가 외부 공격을 감안해야 하는 상황이라 생각합니다.
공인 IP가 할당되어 있는 여러 서버들이 있는데...
다른 서버들은 운이 좋은 건지... 아니면, 공격할 가치가 없기 때문인건지...
이 건을 빨리 정리하고 다른 서버들도 관심을 가져야 겠다는 생각이 듭니다.
월요일부터 정신 없으셨겠어요~~ ㅜㅜ
요즘은 이런 공격성 장애도 빈번하게 발생하는거 같더라구요....
고생 많으셨네요~~ 빨리 안정되길 바랄께요~~~~
다른일 거의 못했습니다.
앞으로 처리해야할 후속 작업들에도 시간이 많이 소요될 것 같고...
1~2주 내에 신속하게 완료해야할 솔루션 교체 작업도 추진해야 하는 상황에서... 버겁네요.
relay 허용 되어 있는게
아닌가요? 아니면 해킹 당해 제어가ㅜ안된다면 이미지 복원으로ㅠ해결될텐데 안되는것 보면 동일 환경이라는 얘긴데?
스팸이 쏟아져 들어오는 문제는 이제 해결되었습니다.
이미지 백업 받기 전에 이미 심어진 어떤 무엇인가가 있었을 가능성도 생각해 볼 수 있을 것 같고...
근본적인 취약점을 가지고 있는 어떤 서비스를 이용하고 있을 가능성도 생각해 볼 수 있을 것도 같고...
낮에는 상황을 모니터링하면서 의심스러운 접속을 차단 처리하면 되지만...
퇴근 이후에는 모니터링을 하기 어려워서 어제 퇴근하면서 스크립트를 만들어서 외부 접속 시도시에 무조건 차단하도록 하고 로그 기록을 남기게 만들어 두었는데...
접속 시도를 엄청했다는 기록이 남아 있네요.
한 두번 시도하는 것은 실수로 잘못 접속한 것일수도 있지만...
일정 횟수를 넘어서 계속 반복 시도한다는 것은 악의적 목적이 있다고 할 수 있을 것 같고요.
충격적인게...
528번을 계속 시도한 IP가 있네요.
외국 IP도 아니고, 한국 LG U Plus 가입자이고...
아마 유동 IP를 할당 받은 곳이 아닐까 하는 생각이 드는데...
저 만큼 시도를 한다는 것은 툴을 이용해서 될때까지 뚫어 봐라는 식으로 공격한게 아닐까 싶어 보이네요.
접속시도횟수 IP주소 위치
528 124.48.237.108 (한국 LGUPLUS)
68 160.242.42.194 (MU 모리셔스)
40 143.255.217.64 (UY 우르과이)
25 125.44.30.200 (CN 중국)
25 117.252.42.222 (IN 인도)
24 117.235.71.165 (IN 인도)
22 158.255.82.249 (RU 러시아)
19 177.55.231.103 (BR 브라질)
15 220.93.200.55 (한국 KT )
10 111.61.92.194 (CN)
10 112.160.95.15 (한국 KT)
10 115.233.210.82 (CN 중국)
10 117.60.123.125 (CN 중국)
10 121.158.105.37 (한국 KT )
10 139.226.184.180 (CN 중국)
10 159.255.28.5 (NL 네덜란드)
10 175.144.205.12 (MY 말레이시아)
10 187.168.41.237 (MX 멕시코)
10 220.146.155.226 (JP 일본)
10 223.11.61.79 (CN 중국)
10 223.244.35.215 (CN 중국)
10 46.41.82.11 (RU 러시아)
6 122.116.47.137 (TW 대만)
4 85.130.11.252 (BG 불가리아)
조금전... 중국, 러시아 IP가 접속 시도를 하고 있어서...
차단을 추가해 주었네요~ ^^;;
iptables -A INPUT -s 113.221.75.185 -j DROP
iptables -A INPUT -s 185.6.236.216 -j DROP