《AI模型助力APT检测概述》由会员分享，可在线阅读，更多相关《AI模型助力APT检测概述（29页珍藏版）》请在金锄头文库上搜索。
1、,AI模型助力APT检测概述,部分可观下APT攻击行为捕获：马尔可夫决策助力AI模型,Agenda,APT威胁严峻,AI模型助力APT检测 马尔可夫决策助力AI模型 Data Exfiltration 检测与防御 总结,极光行动 （2009-2019）,夜龙行的 （2007-2011）,沙虫 （2009-2019）,震网 （2006-2010）,Duqu （2007-2012）,火焰 （2010-2012）,高斯 （2010-2011）,黑袋行动 （2010-2011）,索尼事件 （2014）,TAO攻击 （1998-2013）,KBS事件 （2003-2013）,Hearbeat （2009
2、-2012）,Hangover （2010-2013）,Darkhotel APT （2018-2019）,海莲花 （2012-2018）,Winnti （2009-2013）,Safe行动 （2012-2013）,RSA入侵 （2011）,APT1 （2009-2019）,乌克兰电网攻击 （2015.12）,响尾蛇APT （2012-2019）,网络旅行者 （2004-2013）,全球,高级持续威胁（APT） 以精确打击要害及核心信息窃取为主要目， 对企业网络安全，信息资产安全构成严重威胁。,APT | 威胁持续中,Social Engineering,Spear phishing,0-Da
3、y Exploits,Custom Malware,Malware Variants metamorphism & packer,Convert/Encrypted Tunnel,攻击行为挖掘 | Cyber Kill Chain and ATT&CK,智能检测 | 基于人工智能和大数据的威胁分析检测,AI模型 平台,漏洞 盒子,安全 专家,C&C 连接 内部异常访问 异常数据传输,网络流量 分析,邮件附件 Web页面下载文件 其它文件,文件分析,智能检测 | 基于人工智能的威胁检测建模,监督学习,DGA检测模型,DNS隧道检测模型,恶意加密流量检测,非监督学习,Webshell检测模型,异常
4、流量检测模型,ICMP隧道检测,深度学习,恶意文件检测模型,僵尸网络检测,恶意文件家族检测,复杂性 检测能力/时间 Decision Tree Random forest logistics regression Isolation forest k-means SVM,困境 | 未知的威胁严峻，防御是与时间赛跑,有效处理,有效告警,没有告警,误报造成的平均损失: 每年130万美元,40 %,4 %19 %,快速响应平均降低了40%的成本,反应慢造成的损失: 成本增加40% 40 %,新型攻击：隐蔽 伪装,APT 0day 渗透入侵无处不在,挑战 | 海量告警响应 & 模型准确性提升,模型存在
5、 噪声 无法及时响应， 资产数据已受损,模型运算 成本,提升模型准确性,快速响应,部分可观环境 （检测模型存在噪声）,弱智能体,强智能体,解决 | 构造一个强智能体,analyze，block，pass,normal，anomaly,State : blocking，passing,计算资源、算力、分析损耗,DGA模型,恶意文件模型,Webshell模型,DNS隧道模型,ICMP隧道模型,加密流量模型,Mysql模型,含噪音的AI模型集,Reward,Observation,Action,部分可观马尔可夫决策,马尔可夫模型 | MC HMM MDP POMDP,No observation u
6、ncertainty, with decision,With observation uncertainty, no decision,With both observation uncertainty and decision,Markov Chain (MC),Hidden Markov Model (HMM),Markov Decision Process (MDP),Partially Observable Markov Decision Process (POMDP),WORLD,Observation Reward,Action,SE,Policy ,b,Agent,察目前状态，必
7、须根据部分区域观测结果推断状态的 分布。 S是有限集，其中sS代表一个状态 A是有限集，其中aA代表一个行动 T：SA(S)称为状态转移函数，用T(s, a, s)表示在状 态s上执行a达到s的概率P(s|s, a) R：SAR称为回报函数，R(s, a)表示在s上执行行动a所 得即时回报 Z是一个有限集，zZ代表一个观察 O： SA()称为观察函数，O(s, a, z)表示执行a达 到s观察到z的概率P(z |s, a),框架 | 部分可观马尔可夫决策过程（POMDP） Transition Dynamics POMDP 通过六元组（S，A，T，R，Z，O）表示一 个序贯决策过程。相对于MD
8、P，智能体并无法直接观,(4的充分统计量,Agent通过维持一个信度状态b来对其历史进行总结, b0代表初始信度状态。 ( = Pr( = |, 1, 1, . . . 0, 0 ( = (0, (1, (2, . . . , (, (,定义 | 基于POMDP的APT攻击行为捕获策略,对于一个给定策略，在初始信念状态下，按策略执行动作得到累计代价值为：,( = (, ( + (|, (,其中，,(, ( = (, ( ,(|, ( = ( (, , ( (, (, ,POMDP模型目标是求解使累计代价值最小的最优策略* ，即b， 有下式成立：,+1,( ( +1, ,求出POMDP决策模型为
9、： +( = (, + ( (, , (, , (,POMCP | 蒙特卡洛搜索树,Default Policy,Tree Policy,Selection,Expansion,Simulation,Backpropagation,日志,协议,沙箱,情报,攻击行为,检测模型（弱AI）,POMDP（强AI）,World （S，A，T，R，Z，O）,Agent,观 察 值 / 奖 惩,动 作,APT攻击行为捕获 | 弱AI 强AI,案例介绍 Data Exfiltration 检测和抵御,近几年数据泄露事件,0,200000000,400000000,600000000,800000000,Fir
10、st American Corporation Facebook Truecaller Zynga Canva Capital One Justdial Mobile TeleSystems (MTS) Quest Diagnostics Adobe Inc. StockX 2019 Bulgarian revenue agency hack DoorDash Desjardins Universiti Teknologi MARA Health Sciences Authority (Singapore) Westpac Ministry of Health (Singapore),2019
11、年 企业数据泄露统计,0,200000000,400000000,600000000,800000000,1E+09,AcFun,Sacramento Bee,Ticketfly,Panera,Facebook,MyHeritage,Aadhaar,UnderArmour,华住旗下酒店,圆通,2018年 企业数据泄露统计,数据泄露 | 方式在进化,以前,现在,DataExfiltration | Hidden Tunnel,AI模型 | 基于机器学习的DNS隐蔽隧道检测模型,查 询 域 名 举 例 ： 0ufb582xgcxaabacuqa4xzabagdvasfsicyka wrfxdahi
12、xa.aaqigumdecfrup cikhnyryf7dlk6pvclqvdzh.2hse mtaah3w2ra.log.riskivy.info,通过DNS隧道攻击,监督学习方式 DNS隧道数据流量316268对 正常数据流量320677对 使用随机森林算法，检测准确度95% 特征：响应时间间隔平均值和方差；查询域名长度平均值和 方差；应答段长度平均值和方差；查询子域名各字符信息熵 平均值和方差；查询类型频率,AI模型 | 基于机器学习的恶意HTTPS流量检测模型,解析流量生成，conn.log、ssl.log、x509.log 连接四元组（SrcIP，DstIP，DstPort，协议）
13、SSL聚合（一个连接记录、一个SSL记录、一个证书记录） 连接记录是非ssl的Connection .log中的连接记录 包含28特征（SSL聚合和连接记录的数量、持续时间均值.）,POMDP模型 | 针对 DataExfiltration 设计,DataExfiltration POMPD模型是一个具有状态空间S、动作空间A、状态转移T、观测空间Z、观测概率O 和报酬函数R的元组（S，A，T，Z，O，R） 状态空间定义, 观察空间定义,阻止态、放行态,AI模型分析、阻止、放行,合法流量、隧道流量,S = Sblocking, Spassing 动作空间定义,A = Aanalyze, Abl
14、ock, Apass,Z = Zregular, Ztunnel,DataExfiltration POMPD模型是一个具有状态空间S、动作空间A、状态转移T、观测空间Z、观测概率O 和报酬函数R的元组（S，A，T，Z，O，R） 状态转移函数定义,当前状态下，执行动作a， 转移到s概率,状态s下，执行动作a，获 得观察值z概率,T(s,a)=,1,1, , = | , , = ,1 , , = |,(|, =, 观察概率函数定义 , 1 , = | = sin = = | = passing = = | = = ,1 , = | = = ,|,1 ,Q指代AI模型准确率,POMDP模型 | 针对 DataExfiltration 设计,状态s下，执行动作a，获 得的即刻回报,(, =, = passing, = , = , = ,1 , = , = 1, = passing, = , , = ,POMCP, 在线求解,部分可观的蒙特卡洛搜索树算法,L指代网络安全等级，C指 代模型计算开销,POMDP模型 | 针对 DataExfiltration 设计 DataExfiltration POMPD模型是一个具有状态空间
