Elasticsearch 로그 수집 및 OpenAI LLM 분석 서버 구축
·
AI
에러 로그를 확인할 때마다 Kibana에서 Elasticsearch 로그를 직접 조회해야 했고, 긴 스택트레이스를 일일이 분석하는 과정이 번거로웠음. 복잡한 오류는 디버깅을 반복하거나,로그를 GPT에 붙여넣어 원인을 물어보며 해결해야 해서 시간이 꽤 소모되었음. 이 과정을 자동화할 수 있겠다는 생각이 들어 테스트 삼아 시스템을 구축해봤음.로컬에서 ELK로 스프링 로그를 수집하고, Elasticsearch에서 ERROR 로그를 주기적으로 조회한 뒤 OpenAI LLM 모델로 분석·요약해서 반환하는 별도의 Spring Boot 프로젝트를 만들었음. 이를 통해 주요 에러를 자동으로 설명받고, 더 빠르게 문제를 파악할 수 있는 구조를 만들고자 했음. 개요A 시스템에서 발생한 애플리케이션 로그를 Elasticse..
로컬 ELK 구축 Elasticsearch, Kibana, Logstash
·
Infra/Monitoring
Elasticsearch — 저장 & 검색 엔진모든 로그가 최종적으로 저장되는 곳.검색 엔진 기반이라 대량 로그를 빠르게 조회할 수 있음Kibana가 시각화할 때도 결국 Elasticsearch에서 데이터를 가져감핵심 역할: 로그 데이터베이스(검색 특화 DB)Logstash — 로그 파이프라인(수집/변환/적재)애플리케이션, 서버, DB, 파일 등 여러 소스에서 로그를 수집수집한 로그를 필터링하거나 JSON 형태로 가공(transform) 하고 Elasticsearch로 보내줌‘가공기 → 적재기’ 역할핵심 역할:데이터 수집기 + 변환기Kibana — 시각화 & 분석 UIElasticsearch에 저장된 데이터를 대시보드 형태로 보여주는 UI오류 추적, 서비스 분석, 로그 검색 등을 쉽게 해주는 툴개발자/운..