《互联网实时攻击检测智能化架构》由会员分享，可在线阅读，更多相关《互联网实时攻击检测智能化架构（36页珍藏版）》请在金锄头文库上搜索。
1、,互联网实时攻击检测智能化架构,技术创新，变革未来,CONTENTS,智能进化,未来,系统介绍,系统介绍 - Nile,kafka,交 换 机 镜 像 流 量,storm,白名单,规则引擎,结果存储,ElasticSearch,漏洞自动化验 证系统 Hulk,消息队列,2017/11/27,存在的问题,漏报 性能 维护,机器学习可以解决的问题,回归,分类,聚类,预测类别,预测值,发现相似性,what are you trying to do?,方案选择,Python,java,spark mllib scala,机器学习,sckit-learn,Spark 介绍,Apache Spark is
2、 a fast and general engine for large-scale data processing.,机器学习流程,收集样本 数据清洗，打标签 特征提取 模型训练 验证模型，调优 预测分类,1.0 之架构,traffic,storm 白名单,机器学习预测,规则引擎,ES,训练模型,hdfs,模型,1.0,数据：url和postdata 特征选择：url decode+正则 算法：svm 算法库： spark mllib,1.0 之样本,恶意样本,nile 命中规则的结果 waf 日志 网上收集poc,非恶意样本,交换机镜像的流量,脚本关键字+ 人眼观察,样本收集,样本清洗,1
3、.0 之特征,统计每个request中如下敏感符号,关键字的个数 , . ! * / ( & 等等 eval ongl script select等等 然后转换成一个1*n的矩阵，所有的训练样本就是m*n的输入 and 1=(select count(*) from master.dbo.sysobjects where xtype = x and name = xp_cmdshell) 2,1,3,.1,2,0 ，代表2个( ,2个),3个等 存在的问题： 总有遗漏的关键词,1.0 之算法,1.0,进步 从无到有，流程跑通,不足 特征太依赖于正则了， 不够智能,2.0,分词：WordPars
4、er 特征提取：TF-IDF（Hashing TF and IDF）,特征之WordParser,将每一个标点和控制符都“转换”为词，例如 and 1=(select count(*) from master.dbo.sysobjects where xtype = x and name = xp_cmdshell),特征提取之TF-IDF,例如我们有很多条get请求语句，第一条语句共 计10个单词，其中单引号有3个， 1000条语句中有10条语句包含单引号,2.0 之 算法,效果,效果,2.0,进步 可以靠数据变得更强 真正开始智能化,不足 未解决性能问题,3.0,架构调整,流量,storm
5、 白名单,spark机器学 习预测,规则引擎,ES,训练模型,hdfs,3.0 - 架构,性能效果,流量： 1.7,w - 450w+,3.0,进步 性能大幅提高,不足 如果新上规则的话， 很大概率检测不出来,4.0,再次调整架构,traffic,storm 白名单,spark机器学 习预测,规则引擎 （旧规则）,ES,训练模型,hdfs,4.0 - 架构,规则引擎 （新上规则）,4.0,进步 可抓新规则定义的攻 击,不足 无法检测header头,5.0,增加动态黑名单功能,traffic,storm 白名单,spark 机器学 习预测,规则引擎 （旧规则）,ES,训练模型,hdfs,5.0 - 架构,规则引擎 （新上规则）,Redis (恶意IP库),storm 黑 名单,样本,5.0 效果,5.0,进步 更低的漏报 可发现业务逻辑攻击,不足,未来,更智能 二分类到多分类 使用更多的检测纬度 关联各个纬度,要解决的问题 post数据中xml和 json格式的数据存 在大量误报,增加反馈 每周报告效果,
