[Linux Trouble Shooting]
1. OpenStack Compute Node에서 VM 생성 후 User Application install 후 서비스 개통 리허설 단계에세 audit messages가 /var/log/messages에 쌓이는 현상 발생.
2. 현장에서 User Application part에서 auditd 데몬 상태 확인 결과, auditd 데몬 Zombie 상태로 확인됨.
3. auditd 데몬 재시동으로 messages에 정상적으로 Log 쌓임.
1. Server Form : VM
2. OS version : RHEL 7.x
3. Log messages
[/var/log/messages]
Mar 19 23:10:01 localhost kernel: type=1101 audit(1553004601.576:4871): pid=25947 uid=0 auid=4294967295 ses=4294967295 msg='op=PAM:accounting grantors=pam_access,pam_unix,pam_faillock,pam_faillock,pam_localuser acct="stack" exe="/usr/sbin/crond" hostname=? addr=? terminal=cron res=success'
Mar 19 23:10:01 localhost kernel: type=1103 audit(1553004601.576:4872): pid=25947 uid=0 auid=4294967295 ses=4294967295 msg='op=PAM:setcred grantors=pam_env,pam_faillock,pam_unix acct="stack" exe="/usr/sbin/crond" hostname=? addr=? terminal=cron res=success'
4. Analysis Result
auditd 데몬이 DeadLock 상태로 빠져서 auditd log가 /var/log/audit/audit.log에 저장되지 않아, Systemd가 /var/log/messages에 저장되는 현상으로 확인.
해당 Log가 /var/log/messages에 쌓이는 것이 장애로 볼 수 없다. 왜냐하면 Log Role에 따라 audit.log파일이 존재하지 않아 messages에 log가 쌓이게 된 것이기 때문에 장애 포인트라고 할 수 없다. 하지만, 장애 발생 또는 보안 사고 발생 시 정확한 원인을 분석 위해서 Log를 Roles에 따라 Security와 Systemd Log를 분리해서 저장해야 한다. 그렇다면 서버를 운영하고 있는 고객입장에서 "auditd데몬의 DeadLock 원인 분석"을 원할 것이다. DeadLock 원인 분석을 위해서 sosreport를 통한 분석이 필요할 것으로 보인다.