보안 위협 탐지 이벤트 Logstash Filter 적용 예제 – 2편

엘라스틱서치를 이용하여 전사 보안 장비들의 모든 로그를 수집중에 있습니다. 이기종 다양한 벤더들의 로그를 엘라스틱 스택에 저장하기 위해서는 로그 수집 전처리 과정에서 filter를 통해 중요한 필드들이 누락되지 않도록 커스터마이징을 해야합니다.

상단 보안 장비중 APT, WAF, IPS등 다양한 보안 장비를 운영중입니다.  다양한 이기종 벤더 보안 장비를 통해 발생하는 로그는 하루에도 수천~수만 건 발생합니다. 정말 중요한 보안 위협 이벤트에 대해 Logstash Filter를 통해 현재 제가 근무하는 회사에서는 다음과 같이 적용하고 있습니다. 각 항목별 어떤 의미인지 주석으로 설명을 추가하였습니다.

아래 내용은 logstash 환경 설정 파일의 일부입니다. filter 부분만 정리한 내용입니다.

# 특정 벤더 Fireeye 보안장비에서 유입되는 로그의 특정 필드명을 다음과 같이 식별이 용이 하도록 변경해줍니다.

if [deviceHostName] =~ “Fireeye” {
mutate {
rename => { “deviceCustomString1” => “title” }
rename => { “deviceCustomString2” => “detectName” }
rename => { “deviceCustomString3” => “domainName” }
rename => { “deviceCustomString6” => “threatAction” }
rename => { “deviceEventCategory” => “threatType” }
rename => { “severity” => “hostSeverity” }
}
}

# 다음 항목은 prune 필터를 이용하여 로그 필드명에 다음과 같은 문자열이 있으면 모두 제거하는 설정입니다.

prune {
blacklist_names => [ “^*[\\]+”, “^*[/]+”, “^*[..]+”, “^ad.+”, “^A.+”, “^B.+”, “^AK1+”, “^SH2+”, “^AK+”, “^agent+”, “^deviceEvent+”, “^file+”, “^cfg+”, “^category+” ]
}

}

상기 내용외에도 수많은 설정이 있습니다. 이유는 앞서 언급했듯이 각종 이기종 벤더의 로그 타입은 모두 다르기 때문에 Elasticsearch 단일 스택으로 수집하려면 logstash 와 같은 전처리 로그 유입 부분에서 다양한 필터를 적용하여 파싱 작업을 해야합니다.

추가적으로, 현재 근무중인 회사에서는 logstash input type은 CEF 포맷을 원칙으로 적용하여 운영하고있습니다. CEF 포맷의 경우 logstash 버전이 올라가면서 Legacy 타입의 로그들은 일부 파싱이 제대로 되지 않는 현상이 있습니다. 이와 같은 부분은 고려해서 logstash 버전을 업그레이드 하시는것이 바람직합니다.