《关于全流量分析产品的重要性[6页]》由会员分享，可在线阅读，更多相关《关于全流量分析产品的重要性[6页]（6页珍藏版）》请在金锄头文库上搜索。
1、近年来，以高级持续性威胁（APT）为代表的新型攻击手段渐渐兴起，谷歌、RSA、索尼等业界巨头接连爆出被入侵的新闻，引起了整个社会的极大关注。与此同时，为了应对APT，信息安全产业界也浮现了一批新兴的安全检测产品，这些产品的技术原理和实现方式都与传统安全产品有显著的区别，全流量存储分析产品就是其中的典型代表。 与传统的以特征匹配为基础的实时检测产品相比，全流量存储分析产品的最大特点是对原始流量的存储，以及采用以异常检测为主的判断机制。有了原始流量的存储，就能够将当前检测到的攻击行为与历史流量进行关联，实现完整的攻击溯源和取证分析；有了异常检测方法，就能够通过对各类正常网络行为建模，实现对未知攻击
2、行为的检测。可以说，全流量存储分析产品的出现，恰好弥补了传统检测技术在应对APT挑战方面的不足。 全流量存储分析产品是随着信息技术发展而产生的。回顾入侵检测系统的发展史，在上个世纪90年代“入侵检测”概念出现的早期，当时著名的入侵检测系统大都产生于大学实验室和科研机构，采用的主流技术就是以数据挖掘、神经网络技术为代表的异常检测技术；后来随着应用的推广，安全企业受限于异常检测技术的高漏报和高误报，纷纷采用了以特征匹配为主的误用检测技术，这也是目前成熟入侵检测产品的通用技术；近年来随着以云计算、大数据为代表的新技术的涌现，单位计算和存储的成本越来越低，这使得采用更大的样本空间、更智能的分析算法降低
3、异常检测的误报率和漏报率成为可能，从而使得异常检测技术真正在安全产品中得到实际应用，并最终促成了全流量存储分析产品的产生。 本文介绍了几款当前业界领先的全流量存储分析产品，总结了该类产品的共同点，并展望了该类产品的应用前景。 当前主流产品介绍RSA NetWitness RSA NetWitness是安全产业巨头RSA公司推出的企业级安全分析产品体系。RSA将其描述为“一个革命性的网络安全监控平台，帮助企业感知网络上发生的全部事情，以应对全方位的信息安全挑战”。RSA NetWitness处理的对象包括各类报警事件和原始流量数据，它通过对各类数据的采集、存储、分析、挖掘和可视化展示，实现APT
4、攻击的检测和持续监控。 RSA NetWitness的特点在于具备丰富、完整的体系架构，具备良好的伸缩性，可适应不同规模、不同粒度的安全监控需求。RSA NetWitness产品体系包括以下组件： (1) 采集及存储组件，可细分为： Decoder：完成实时采集、过滤和分析网络数据，是企业级网络数据存储分析架构的基石。Concentrator：分层级汇总元数据，以保证框架的可扩展性和灵活性。Broker：处于企业应用架构的最上层，当部署多个Concentrator时，可提供跨整个架构的单一视图。Capacity：应用于Decoder和Concentrator的附加存储设备，可采用直接连接模式（
5、DAC）和存储区域网络（SAN）两种模式，可扩充至PB级的存储容量。 (2) 分析组件，可细分为： For Logs：安全日志汇总工具，可实现安全日志和全流量数据的无缝融合，在分析安全日志时可展示与该事件相关的上下文原始流量数据。Informer：报表和报告生成工具，可通过灵活的模板定制分析人员关心的各类报表。Investigator：应用还原、可视化流量分析工具，通过对2-7层协议的解析，实现对原始流量数据的钻取分析。Live：安全情报整合工具，可整合公共情报和RSA专业分析人员分析后得到的情报。SIEMLink：RSA公司两大安全管理平台（NetWitness和enVision）数据交换中
6、间件，可实现二者之间的数据连接。Spectrum：恶意代码检测工具，不基于恶意代码签名，而是通过沙箱虚拟执行、信誉体系、文件内容、网络行为等方面综合进行恶意代码检测。Visualize：数据可视化分析工具，主要是对还原后的文件进行可视化分析，可监控文件的传播状况，进行数据防泄密检测。 Solera DeepSee Solera DeepSee是Solera Networks公司（注：该公司已于2013年5月被Blue Coat公司收购）研发的面向高级威胁防护的大数据安全情报与分析产品。它通过对流量数据的记录、索引、分类和存储，提供给安全分析人员全方位的感知能力。 正如其名称所体现出的含义，So
7、lera DeepSee的特长在于对数据流的深度解析和可视化。Solera DeepSee在数据处理能力方面具备丰富的积累，在数据包捕获方面，它采用了经过优化的DS File System，支持10Gbps级流量的实时捕获、解析和存储；在存储方面，它采用了专有的Solera DB，特别适合网络数据包的压缩和索引，压缩比可达10:1；在协议解析方面，它能够深度解析28个应用协议族，超过850种具体协议，并通过“所见即所得”的方式还原应用访问场景。 Solera DeepSee提供了“关键原因挖掘”的功能，可用于重建APT攻击场景。它通过提取出来的网络访问数据，重建一个时间段内可疑的web ses
8、sion、email、IM对话等信息，并将这些信息以时间顺序进行排列，帮助分析人员快速定位APT攻击源。例如攻击者可能通过社会工程学的方式，向被攻击者发送了一封Email，其中携带了一个恶意URL地址；被攻击者点击了该URL，导致恶意代码下载到本地并被远程控制。通过历史流量的存储和还原，分析人员就能定位到实施远程控制的恶意代码样本、恶意URL位置，并锁定最初的Email内容，从而定位到攻击源。 Narus nSystems Narus nSystems是Narus公司研发的安全工具，定位于网络流量可视化与智能分析。Narus nSystems将数据分为3个不同的平面：网络平面、语义平面和用户平
9、面，在每个平面上用多个维度来描述网络活动和用户行为。Narus nSystems通过将不同维度的信息融合，利用机器学习的方法自动产生攻击行为的签名，实现攻击行为的精确检测和分类。Narus nSystems的特点在于其提取的Narus Vectors向量，以及基于Vectors的异常流量和异常访问检测算法。Vectors是用于描述网络连接的元数据，它从经过流重组、报文重组、协议解析后的网络流量中提取，包含从第2层到第7层的全部描述信息，例如IP分片信息、TCP状态机、TCP/UDP重组、应用类型、应用层状态信息、应用协议关键元素等。通过Vectors的提取，Narus nSystems利用只占
10、pcap包5%-8%的空间，保存了大约98%的session信息，并将非结构化的网络流量数据转换为结构化的向量信息。Narus nSystems基于结构化的Vectors进行各类异常检测，包括： 可疑网络行为，包括协议隧道、协议伪装、可疑僵尸网络控制通道等；未授权访问，包括隐藏的应用、未知或加密的流量、流氓服务器等；网络流量模型的变化，包括应用和行为习惯发生偏差、任意流量属性的基线发生变化等。 同其它全流量存储分析产品一样，Narus nSystems也具备全流量存储的能力，但为了节省空间，Narus不建议保存全部数据，可设置为只保存异常时的原始数据，这样Narus可以采用比原始流量数据规模低
11、3个数量级的空间，保存绝大多数对后续分析有用的数据。 Fluke Network Time Machine Fluke网络时光机是用于对网络和应用程序问题按时间回溯进行根本原因分析的多合一解决方案，其定位为网络和应用故障诊断工具，而非真正的入侵检测工具。由于它也具备全流量存储和分析的特征，本文在此也对其特性进行简单分析。 Fluke 网络时光机最独特的功能为性能瓶颈分析（Performance Bottleneck Analysis ），它能够自动发现网络服务，然后计算一次网络访问中服务端、网络端、客户端分别消耗的时间，并进行可视化展示，从而帮助分析人员确定影响服务性能的瓶颈。在存储方面，Fl
12、uke 网络时光机支持最高可达40Gbps的实时流量分析和20Gbps的实时流量存储。在协议解析方面，Fluke 网络时光机支持对超过1000种协议的分析，可自动重建每个会话，并检查各层协议是否有故障，覆盖范围从网络层丢包，直到应用层故障；此外它还支持对SIP和H.323协议解析和详尽的性能分析。在流量分析方面，Fluke网络时光机具备深度数据挖掘功能，其核心是基于关系型数据库的海量数据管理，通过创建多维视图，可帮助分析人员定位有问题的会话，并能通过定制化的过滤策略，对网络访问进行合规性审计。 全流量存储分析产品功能描述通过对知名全流量存储分析产品的调研，我们可以发现当前主流的全流量存储分析产
13、品大都具备以下功能： (1) 流量存储：具备10Gbps量级的实时存储能力和100TB量级的存储空间管理能力；(2) 元数据提取：具备提取描述网络连接行为特征的元数据功能，并能够长期保存元数据以便后续分析；(3) 异常检测：具备基于网络连接行为建模的异常检测能力，可基于历史数据建立各类正常网络连接行为模型，并通过偏离程度进行异常行为检测；(4) 协议解析：具备超过1000种协议和应用的解析能力；(5) 应用和文件还原：具备主流应用协议的细粒度还原能力，并能够提取各类应用协议中传输的文件；(6) 海量数据可视化分析：具备从多个维度对海量数据进行可视化分析的能力，方便分析人员从海量数据中定位可疑会
14、话。 对于其它附加的功能，如恶意代码检测、安全事件关联、流媒体还原、性能瓶颈分析等，各厂商往往基于自身的优势技术进行完善，成为各家全流量存储分析产品的亮点。 总结全流量存储分析产品是当前信息安全领域最为关注的两项前沿技术，即大数据分析技术和APT检测技术的融合。借助全流量存储分析，安全分析人员可以对已经发生的攻击行为进行多角度、全方位、可反复回溯的深度检测，从而更容易检测出潜在的入侵行为。当然，任何技术都有其局限性，全流量存储分析产品也存在着保留历史数据占用过多的存储资源、异常检测技术本身固有的漏报和误报问题，这些都可以在应用中结合实际情况进行优化，如设置适当的原始报文降解条件和降解周期、定期更新各类模型基线等。全流量存储分析产品的最大作用是发现潜在APT攻击的蛛丝马迹，帮助安全分析人员聚焦真正的入侵行为，从而缩短对APT攻击的响应时间。基于异常检测技术的特点，单纯对网络连接行为的分析只能定位可疑网络连接，无法确认是否是真正的入侵。因此全流量存储分析还需要与其它检测技术相结合，如传统的特征匹配技术、基于网络流量数据的虚拟执行技术、数据防泄漏技术等，才能实现全生命周期的APT攻击检测。
