[ELK] Log 분석을 위한 ELK 스택 만들기

Introduction

새로운 API 서버를 만들면서 가장 많은 고민을 한 것이 에러 처리와 로깅이다.

개발 과정에서 잡히는 에러는 바로 확인이 가능하지만, 운영 중 사용자 Level 에러는 제대로 확인할 수 없다. 
에러 발생 시 Log를 잘 기록하면, 빠르게 에러를 고칠 수 있고 분석을 통해 에러를 사전에 방지할 수 있다.

또한, API 서버가 실행되면서 발생하는 API 프로세스 / DB 처리 등의 대한 작업 Log를 분석하면 가장 많이 발생하는 API, DB 작업 빈도 등을 알 수 있어 프로그램의 성능을 향상할 수 있다.

Log 분석에 가장 많이 이용되는 Elasticsearch, Logstash, Kibana를 사용한 ELK 스택을 구성했다.

ELK Stack

위의 링크로 이동하면 ELK 스택 구성하기 튜토리얼이 나옵니다.

Conclusion

API 서버가 아직 개발 중이기 때문에 실제 Log 데이터를 분석하는 일은 없었지만, Log 데이터를 분석하기 위한 기본 인프라는 구성할 수 있었다. 
NginX 서버의 access Log 분석은 웹에 예제가 많기 때문에 쉽게 적용할 수 있지만, 개발자가 별도로 분석을 위해 남기는 Log는 일정하게 정해진 형식이 없다. 
효율적인 Log 분석을 위해서 Log 데이터를 어떤 규칙으로 저장할 것이 가장 중요할 것이라 판단된다.