《基于ELK的Packetbeat和watcher数据监控V1.0》由会员分享，可在线阅读，更多相关《基于ELK的Packetbeat和watcher数据监控V1.0（42页珍藏版）》请在金锄头文库上搜索。
1、ELKPacketbeat网络数据监控 提纲 ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研 ElasticSearch特点 ElasticSearch是一个基于ApacheLucene的开源数据搜索引擎 它的特点有 实时 可以进行实时的数据搜索和分析分布式 分布式文件存储 并将每个字段都编入索引RESTfulAPI 对外提供一系列基于JAVA和HTTP的API 用于索引 查询 修改大多数配置JSON 输入输出格式为JSON 快捷方便多租户 可根据不同用途分索引 同时操作多个索引 ElasticSearch使用案例 维基百科使用Elasticsearch
2、来进行全文搜索并高亮显示关键词 以及提供search as you type did you mean等搜索建议功能 英国卫报使用Elasticsearch来处理访客日志 以便能将公众对不同文章的反应实时地反馈给各位编辑 StackOverflow将全文搜索与地理位置和相关信息进行结合 以提供more like this相关问题的展现 GitHub使用Elasticsearch来检索超过1300亿行代码 每天 GoldmanSachs使用它来处理5TB数据的索引 还有很多投行使用它来分析股票市场的变动 ElasticSearch安装 ES的安装很简单 可参考官网https www elasti
3、c co guide en elasticsearch reference current installation html服务启动后测试下是否运行正常 head插件 elasticsearch bin plugininstallmobz elasticsearch headKopf插件 elasticsearch bin plugininstalllmenezes elasticsearch kopf ElasticSearch插件 安装ES插件 来查看集群状态 查看数据信息等 Logstrash简介 Logstash是一个接收 处理 转发日志的工具 由Jruby语言编写 并运行在Java
4、虚拟机上 在Logstrash的生态系统中主要分为4大组件 Shipper 日志收集者 负责监控本地日志文件的变化 及时把日志文件的最新内容收集起来 输出到Redis暂存 BrokerandIndexer 接受并索引化事件SearchandStorage 允许对时间进行搜索和存储WebInterface 基于WEB的展示页面 Logstrash简介 Logstash使用管道方式进行日志的搜集处理和输出 主要做3件事 Collect 数据输入Enrich 数据加工 如过滤 改写等Transport 数据输出 Kibana介绍 Kibana是一个使用Apache开源协议 基于浏览器的Elastic
5、search分析和搜索仪表板 Kibana安装配置 Kibana安装比较简单 可参考官网https www elastic co downloads kibana 默认情况下 Kibana会连接运行在localhost的Elasticsearch 要连接其他Elasticsearch实例 修改kibana yml里的ElasticsearchURL 然后重启Kibana 从Kibana访问Elasticsearch索引的配置方法 1 配置包含时间戳的索引 可以用来做基于时间的处理2 索引定期生成且索引名中包含时间戳 提高搜索性能 Kibana会至搜索你指定的时间范围内的索引 Kibana Di
6、scover 在Discover页交互式探索数据 你可以访问到所匹配的索引模式的每个索引的每条记录 你可以提交过滤搜索请求 然后查看文档数据 你还可以看到匹配搜索请求的文档总数 获取字段值的统计情况 如果索引模式配置了时间字段 文档的时序分布情况会在页面顶部以柱状图的形式展示出来 Kibana Discover 在Discover页提交一个搜索 你就可以搜索匹配当前索引模式的索引数据了 可以直接输入简单的请求字符串 也就是用Lucenequerysyntax 也可以用完整的基于JSON的ElasticsearchQueryDSL 简单文本搜索 直接输入文本字符串搜索特定字段中的值 格式 字段名
7、 值搜索值的范围 格式 字段名 start valueTOend value 指定复杂搜索标准 使用布尔操作符AND OR NOT kibana Visualize 你可以用Visualize页来设计可视化 可以保存可视化或者合并到dashboard里 创建一个新的可视化 第一步 选择一个可视化的类型 区块图 折线图等第二步 选择数据源 可以选择新建或者读取一个已保存的搜索 作为你可视化的数据源 第三步 可视化编辑器 kibana Visualize 区块图 Y轴是数值维度 有以下聚合可用 Count 返回元素的计数Average 返回一个数值字段的平均值Sum 返回一个数值字段的总和Medi
8、an 返回一个数值字段的中间值Min 返回一个数值字段的最小值Max 返回一个数值字段的最大值UniqueCount 返回一个数值字段的去重数值Percentiles 返回一个数值字段的百分比分布 图形的X轴是buckets维度 指明从你的数据集中将要检索什么信息 支持以下聚合 DateHistogram 基于时间的展示Histogram 基于数值字段创建 指定数值间隔Range 基于数值字段创建 指定一系列区间DateRange 基于时间创建 指定时间区间IPv4Range 基于IPv4创建 指定IPv4区间Terms 展示一个字段的元素值Filters 添加过滤器SignificantTe
9、rms 展示实验性聚合结果 kibana Visualize 区块图 kibana Visualize 区块图 kibana Visualize 折线图 kibana Visualize 表格数据 定义metrics表格列 定义buckets来切割表格成行 kibana Visualize Metric 为你选择的聚合显示一个单独的数字 kibana Visualize 饼图 饼图的分片大小通过metrics聚合定义 这个维度可以支持以下聚合 Count 返回元素的计数Sum 返回一个数值字段的总和UniqueCount 返回一个数值字段的去重数值 buckets聚合指明从你的数据集中将要检索
10、什么信息 kibana Visualize 饼图 kibana Visualize 竖条图 kibana Visualize 地图 地图显示一个由圆圈覆盖着的地理区域 这些圆圈则是由你指定的buckets控制 地图使用Geohash聚合作为他们的初始化聚合 从下拉菜单中选择一个坐标字段 Precision滑动条设置圆圈在地图上显示的颗粒度大小 一旦你定义好了一个X轴聚合 你可以继续定义子聚合来完善可视化效果 kibana Dashboard 一个Kibanadashboard能让你自由排列一组已保存的可视化 然后你可以保存这个仪表板 用来分享或者重载 简单的仪表板 用户可以对仪表板做多样化操作
11、 1 添加可视化到仪表板2 保存仪表板3 加载已保存的仪表板4 定义仪表板元素5 移动容器6 改变容器大小7 删除容器8 修改可视化9 分享仪表板并嵌入到其他用户的仪表板中 ELK套装 logstashagent监控并过滤日志 将过滤后的日志内容发给redis 只处理队列不做存储 logstashindex将日志收集在一起交给全文搜索服务ElasticSearch 通过Kibana结合自定义搜索进行页面展示 提纲 ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研 几种beats 在生产环境中 数据搜索需求会更复杂一些 通过logstash写正则 实在是个费
12、时费劲的事 而beats就比较简单高效 beats是一个代理 将不同类型的数据发送到elasticsearch beats可以直接将数据发送到elasticsearch 也可以通过logstash将数据发送elasticsearch beats有三个典型的例子 Filebeat Topbeat Packetbeat Filebeat 用来收集日志Topbeat 用来收集系统基础设置数据 如cpu 内存 每个进程的统计信息Winlogbeat 监控windows下面的日志信息Packetbeat 是一个网络包分析工具 统计收集网络信息 Packetbeat是网络协议抓包和处理的一个框架 用来嗅探
13、和分析网络流量 关联他们到事物 并且使用Elasticsearch来分析 然后进行点对点查询 Packetbeat介绍 Packetbeat的安装很简单 可参考官网https www elastic co downloads beats packetbeat配置文件 etc packetbeat packetbeat yml 在ES中加载Packetbeat索引模板 执行命令curl XPUT http localhost 9200 template packetbeat d etc packetbeat packetbeat template json 启动Packetbeat sudo e
14、tc init d packetbeatstart Packetbeat协议 目前支持了常见的一些协议 ICMP DNS HTTP MySQL PostgreSQLRedis Thrift RPC MongoDB Memcache 也可进行协议的扩展 协议扩展开发可参考 https www elastic co guide en beats packetbeat current new protocol html 在文件 etc packetbeat packetbeat yml中可以注释某协议以禁用该协议 如果使用任何非标准的端口 也可进行添加 否则 为默认端口 Packetbeat介绍 P
15、acketbeat在kibana中的视图展示 基于Packetbeat创建TCP等协议可视化图表 Packetbeat安装好后界面展示的是基于HTTP的应用层数据分析展示 在discover页面 可以看到Packetbeat提供的解析字段 transport和type可以获取到udp tcp icmp dns协议数据 因此在创建绘图时可根据这两个字段帅选出并展示基础协议 具体方法可查看kibana章节 基于Packetbeat创建TCP等协议可视化图表 小结 由于目前Packetbeat中可添加的字段有限 绘制可视化图标展示也较粗糙 没有延迟 重传 地图 链接分析等相关统计 提纲 ELK基础知
16、识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研 Watcher介绍 Watcher是Elasticsearch的一个插件 提供警报和通知 并可定义基于数据的变化简单地定义一个条件 触发指定条件后Watcher会执行相关的警报和通知 几大功能特点 1 根据ES数据的变化自动触发通知如异常登录失败 应用程序响应时间高于平均值 或者发生意外错误时发送通知 2 主动监控Elasticsearch集群对接Watcher与Marvel服务 可以监控集群状态 如节点加入或离开集群 查询高峰 内存使用率太高时候可以发送通知 3 自定义通知可以轻松设置电子邮件通知 也可以既集成到第三方的监控服务 如通过Watcher发送警报给Nagios PagerDuty等4 分析历史记录可以在Kibana服务中查询Watcher的历史触发记录 支持嵌套或者多级的通知5 高可用支持Watcher作为ElasticSearch集群的一部分运行 能够很好的应对部分硬件和网络故障 Watcher案例介绍 配置流程 1 设置定时器和输入源 错误数据的查询条件 2 设置触发条件 是否查询到了错误数据
