《日志综合分析与管理解决方案》由会员分享，可在线阅读，更多相关《日志综合分析与管理解决方案（17页珍藏版）》请在金锄头文库上搜索。
1、泰合中心日志综合分析与管理系统解决方案北京启明星辰信息技术股份有限公司Beijing Venus Information Tech. Inc.2008年10月目 录1文档管理11.1文档信息11.2分发控制11.3版本控制12日志管理现状及面临的挑战22.1日志管理现状22.2面临的挑战23日志分析与管理的需求34方案设计34.1设计原则34.2体系结构44.3系统概述44.4方案实现功能54.4.1日志数据源64.4.2日志集中采集74.4.3日志存储104.4.4告警监控114.4.5基于日志的审计114.5方案功能特色124.5.1支持海量数据存储124.5.2多样化的报表124.5.3
2、丰富的分析功能134.5.4支持通用日志采集134.5.5灵活扩充新设备134.5.6日志日常维护134.5.7资产管理134.5.8用户管理134.5.9系统管理l145实施与部署146方案成效151 文档管理1.1 文档信息文档名称泰合平台类系列解决方案（THS）之-日志综合分析与管理系统解决方案保密级别机密文档编号V1.0制作人制作日期2008年10月22日复审人复审日期适用范围1.2 分发控制编号读者文档权限与文档的主要关系1泰合平台管理部读、写文档作者2泰合中心审核文档审核者1.3 版本控制时间版本说明修改人2 日志管理现状及面临的挑战2.1 日志管理现状目前大多数企业，特别是大型企
3、业、机构对于异构、海量日志数据没有很好的管理办法，结果往往是： 日志采集效率低不能完全捕获，数据格式不统一，缺少标准化的技术手段。 人员要求高系统管理人员面对浩如烟海的日志信息，首先面临的一个问题是如此浩大的工作量是人工所无法完成的，另外，要求系统管理人员能够理解日志信息的内涵，对管理人员的要求很高。 各自为战，缺乏关联性不同的系统管理员分管不同的信息系统，难免出现各自为政的局面，但是事故发生前的一系列事件之间却存在紧密的联系，二者之间的矛盾导致事故难于处理。 人力投入高，处理效果差海量日志数据需要系统管理人员手工维护和管理，导致分析时间长，关键时刻很难发现问题。2.2 面临的挑战大型企业的网
4、络规模庞大、系统复杂，其中包含各种网络设备、服务器、工作站、业务系统等。同时安全领域也逐步发展成复杂和多样的子领域，例如访问控制、入侵检测、身份认证等等。这些安全子系统通常在各个业务系统中独立建立，随着大规模安全设施的部署，管理成本不断飞速上升，同时对这些安全基础设施产品和它们产生的日志信息的管理成为日益突出的问题。 海量日志信息企业中存在的各种IT设备提供大量的安全信息，特别是安全系统，例如入侵检测系统、防火墙和漏洞扫描系统等。这些数量庞大的信息使得管理员疲于应付，容易忽略一些重要但是数量较少的告警。海量日志信息是现代企业安全管理和审计面临的主要挑战之一。 孤立的安全信息相对独立的IT设备产
5、生了相对孤立的日志信息。企业缺乏智能的关联分析方法，分析多个日志信息之间的联系，揭示安全信息的本质。例如什么样的安全事件是真正的安全事件，它是否真正影响到业务系统的运行等。 缺少标准的数据格式另一个日志管理的障碍是计算机、防火墙、路由器、交换机，服务器和其他设备都有它们自己记录事件的格式，甚至同一厂家的不同服务器也会不同。Windows服务器有庞大的用户群，它就提供了几种不同格式的日志数据。3 日志分析与管理的需求通过对日志分析与管理（以下简称“系统”）的现状和面临的挑战，不难得到日志分析管理的需求： 海量日志数据的集中管理。 日志管理格式标准化。 事前预警、事中监控和事后分析。 制订统一的日
6、志行业标准。 对日志进行生命周期管理。 符合政策、法规的规范性要求。4 方案设计4.1 设计原则为保证系统的有效运行，应遵循以下原则进行系统设计： 开放性。日志分析与管理系统应参考各种相关的国际标准和安全标准。 可扩展性。日志分析与管理系统设计时具备良好的扩展性，方便以后可以以之为基础增加其它系统功能。 安全性。日志分析与管理系统涉及客户的敏感信息，在设计时充分考虑了所分析和管理数据的保密性、可用性、完整性的要求。4.2 体系结构图1 体系结构图4.3 系统概述系统通过监测及采集信息系统中的系统安全事件、用户访问行为、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理
7、后，以统一格式的日志形式进行集中存储和管理，同时保留原始的日志信息和日志格式，以便事后分析取证用，结合丰富的日志分析综合显示功能，实现对信息系统整体安全状况的全面管理。系统专注于对局域网、广域网和互联网上各类系统、应用和设备的安全事件、用户行为、系统状态的实时采集、实时分析、异常报警、集中存储和进行事中监控、事后分析，同时也是支持分布式、跨平台的统一的日志综合分析与管理系统，可以对各类网络设备、安全设备、操作系统、WEB服务、中间件、数据库和其它应用进行全面的基于日志的安全审计。4.4 方案实现功能方案实现的功能用一句话总结就是，实现了日志的生命周期管理。日志分析与管理系统实现了从原始日志（R
8、aw Log）产生、到原始日志的采集（日志采集中心）、到日志综合分析处理和存储（综合分析与统一存储），以及最后的基于日志的管理与审计（综合显示中心）的整个生命周期管理。日志信息及其处理、统计的结果可以以图形、折线等丰富的表现形式进行展现。为了方便管理人员的集中管理，系统提供自管理模块，可以方便地管理用户、被管理的设备和权限以及自身健康状态监控等。图2 日志生命周期4.4.1 日志数据源系统采集的数据来源于网络系统中已经部署的已有的网络安全系统、主机系统和网络系统。如，防火墙/UTM、入侵检测系统、防病毒系统、网络审计系统、漏洞扫描系统、网络交换机、路由器、主机/服务器、数据库和应用服务器等。上
9、述日志数据源具有不同的日志格式，如下图所示：图3 日志数据源格式4.4.2 日志集中采集系统通过多种采集方式实现对不同类型数据源的采集，支持的数据采集方式包括：1、Syslog方式，支持SYSLOG协议的设备，如：防火墙、UNIX服务器等；2、ODBC/JDBC方式，支持数据库联接的设备，如：启明星辰天镜漏洞扫描；3、SNMP Trap方式，支持SNMP协议的设备，如：交换机、路由器、启明星辰天阗入侵检测等；4、XML方式，支持HTTP协议的设备，如：Nessus漏洞扫描系统；5、EventLog方式，支持Windows平台；6、特定接口方式，对于不支持通用协议的设备，需要定制开发，如：某网闸
10、隔离系统。7、VIP（Venus Interface Protocol）方式，如启明星辰公司的天阗入侵检测系统。日志收集之后进行范式化以统一日志格式。4.4.2.1. 网络设备的信息采集系统目前通过使用Syslog协议采集CISCO、华为等主流网络交换机、路由器的日志信息，同时能够通过SNMP协议采集上述网络设备的状态信息。通过同样方式可快速提供对用户现有的3Com、北电网络设备的支持。在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog服务代理，在被审计网络设备上指定Syslog服务代理的位置，即可对网络设备的日志信息进行采集。4.4.2.2. 安全设备的信息采集系统能通过采用
11、Syslog、SNMP Trap等协议采集主流安全设备的安全日志和安全事件报警信息，并能通过与第三方厂商的沟通与合作支持更多的安全设备。目前能够支持的安全设备种类包括防火墙、入侵检测、漏洞扫描、防病毒、网络审计、主机监控与审计等。在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog/SNMP服务代理，在被审计安全设备上指定Syslog服务代理的位置，或在被审计安全设备上设置SNMP Trap并指定SNMP服务代理的位置，即可对安全设备的日志信息进行采集。部分安全系统的日志是以数据库或文件形式保存在本地管理服务器上的，对于这些安全系统，我们将采用数据库ODBC/JDBC方式、文件读
12、取方式来采集其日志信息，此时需要请用户协调相关安全系统厂商给以支持。4.4.2.3. 操作系统的日志采集系统通过使用NT Eventlog （即在Windows 计算机上安装通用代理，在通用代理上指定接受Windows日志的Syslog服务代理的IP地址）或采用WMI（直接在Windows 计算机指定接受Windows日志的Syslog服务代理的IP地址，而不必安装通用代理）来采集Windows系列操作系统的日志信息，通过使用Syslog协议采集SUN Solaris、IBM AIX、Linux等操作系统的日志信息，能够全面记录系统特权命令的使用，包括：修改系统文件和文件属性试图猜测口令登录成
13、功、失败关键应用系统文件的改变增加和改变用户属性系统启动和关闭用户操作时的用户识别符登录时间（包括系统用户最后一次登录）、注销时间事件发生的日期和时间事件内容或操作结果通过与本地网络中的LDAP目录服务相关联，能够把日志中的用户帐号信息与LDAP目录服务中的用户名相对应，便于日后的责任认定。4.4.2.4. 数据库日志采集系统通过采用专用代理+Syslog的方式采集Oracle、MS SQL Server、DB2、Informix、Sybase等主流数据库的操作及数据库自身日志；包括：用户登录数据查询数据修改数据删除修改配置对特定的表的操作超级管理员对数据库的连接数据库启动和停止同时能通过与专
14、用数据库系统的开发机构进行沟通与合作支持用户特有的数据库系统4.4.2.5. 应用系统日志采集系统通过采用专用代理+Syslog或SNMP方式采集以下应用系统的日志信息。MicrosoftIIS 5.0/6.0MicrosoftFTPBEAWebLogic（SNMP）MicrosoftSQL ServerOracleOracle数据库IBMDomino同时能通过与应用系统的开发厂商和机构进行沟通与合作对用户正在使用的其他应用系统提供定制开发支持，包括：网络管理系统：OPEN VIEW、CISCO WORKS等；备份系统：HP、IBM、EMC、VERITAS等公司的产品；应用系统：AVIDM、OA、人力资源系统、质量管理系统、物流供应链系统、门户系统和综合业务平台等（包括将来新增的其他应用系统）。存储系统：SAN、NAS等4.4.3 日志存储系统将收集来的数据统一存储和归档，选用企业级数据库Oracle、sqlserver作为支撑，支持海量数据存储，同时也支持磁盘柜、NAS和SAN等多种存储方式，便于扩充和统一查询检索。4.4.4 告警监控事件监控负责实时监控网络的安全事件状态，是实时掌握全网的安全威胁状况的重要手段之一。通过事件监控模块监控网络各个网络设备、主机系统等日志信息，以及安全产品的安
