《ELK日志解决方案文档资料》由会员分享,可在线阅读,更多相关《ELK日志解决方案文档资料(19页珍藏版)》请在金锄头文库上搜索。
1、ELK日志解决方案2019-01-031概览原理实践2概览篇你负责的服务怎么处理日志什么是日志分析传统日志分析和ELK日志分析3你负责的服务怎么处理日志?1.你怎么定义日志格式和内容?2.你怎么收集日志?3.你怎么分析日志?4传统日志分析日志分析日志:结构化数据+时间戳作用:排查问题,信息检索,监控.传统日志分析思路SSH cat/grep/regexFTP 脚本分析缺点手工操作,效率低,易出问题延时高,无可视化效果.5ELK日志分析主要需求日志索引/检索/分类/排序,提供可视化界面监控分析重要日志不同数据规模的横向扩展可以做到准实时的日志分析设计思路Logstash收集应用日志Elastic
2、Search存储/索引日志Kibana提供可视化界面6ELK能做什么7原理篇网校公用日志服务基础架构和流程nlp日志服务基础架构和流程8网校日志中心架构9日志服务流程图10日志中心使用的问题保存期限只有7天没有权限控制,所有人都有读写权限11nlp日志解决方案12nlp日志流程图13实践篇实施要点AI 老师1V1 ELK日志实践效果14实施要点应用层日志统一规范统一日志库C+ glog ,python logging统一日志格式公共日志头 + logType + (分隔符连接的文本| | Json)日志规范WIKi注意点:日志的字段切分要设计好日志的字段切分要设计好15AI老师1v1老版统计效果16AI 老师1V1 ELK日志实践效果discovervisualizedashboard17kibana timelion 不同数据源的数据画在一张时间序列图上FAQ:一. 随着时间每个用户的开口时长变换二. 上周五和这周五的用户量对比变化(同比和环比)三. 在线教育总用户量的百分之多少是我们的用户四. 10 days window moving average 用户量是多少(trend)18THANKS19