CategoryDevOps (2)

Athena를 이용한 AWS ELB Access Log 분석 - Part 2

우리는 지난 포스트에서 왜 Athena를 써야 하며, 무슨 혜택이 있는지 알아보았습니다. 이제 간단한 예제와 Access Log를 분석해 보도록 합시다. 이 포스트는 AWS ELB의 기본 경로 규칙을 따르고 있습니다 데이터베이스 및 테이블 생성하기 /* 데이터베이스 생성 */ create database alb_db /* 테이블 생성 참고로 현재시간(2020년 3월 2일) 이후로 AWS에 의해 스키마 정보가 업데이트될 수 있으니 테이블 생성 시 아래 링크를 참고하시면 더 좋습니다. https://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html */ CREATE EXTERNAL TABLE IF NOT EXISTS alb_lo..

Athena를 이용한 AWS ELB Access Log 분석 - Part 1

현재 상용서버에서 ELB(Elastic Load Banacing) 그중에서도 ALB(Application Load Balancer)를 사용하고 있는 중입니다. 근 1년간 서비스의 글로벌화로 인해 사용자 및 해킹 시도가 점점 많아져 로그 분석할 일이 늘어났습니다. 이전까지는 일반적으로 Nginx Access Log를 사용해서 관련 문제를 해결해 왔지만, 가끔 ELB 로그 확인이 불가피해지고 그때마다 S3에서 다운받아서 그 많은로그 하나하나 분석하는데 시간을 너무 잡아먹어서 결국 Athena를 이용해 보기로 합니다. Athena란 Amazon Athena은(는) Amazon Simple Storage Service(Amazon S3)에서 표준 SQL을 사용하여 데이터를 쉽게 바로 분석할 수 있는 대화형 쿼리..