建立以ELK为中心的日志监控系统
2020-4-27 12:37 更新
负责日志监控的方案选型、部署及运维 基于ELK实现日志监控的,实现多机房部署,每机房负责当前机房的日志采集、分析及展示,并通过ES聚合功能实现多机房日志数据的统一分析和展示 单机房通过flume、filebeat实现采集端部署、通过kafka进行数据解耦、通过logstash实现数据消费并转存于ES集群,通过kibana和grafana进行展示并基于kibana插件实现告警发送。通过数十台ES集群实现了上百个应用的日志监控,每日收集并处理的数据量达PB级别。 此外,利用后端django restframwork + 前端vue的方式编写了日志采集自服务平台,从而规范了日志采集标准,解决了日志采集部署、运维的人员单点问题,将日志采集环节自动化、平台化,为今后日志监控的智能分析和告警打下基础。