《数据安全管理解决方案之大数据脱敏项目建设方案》由会员分享，可在线阅读，更多相关《数据安全管理解决方案之大数据脱敏项目建设方案（19页珍藏版）》请在金锄头文库上搜索。
1、大数据脱敏项目建设方案2016年5月目录第1 章概述 21.1. 大数据现状说明 21.2. 大数据安全现状分析 2第2 章建设目的 3第3 章项目范围 3第4 章建设原则 3第5 章大数据安全建设方案 45.1. 大数据脱敏方案 45.1.1. 大数据脱敏设计架构 45.1.2. 大数据脱敏工作原理 55.1.3. 大数据敏感数据发现 75.1.4. 大数据脱敏技术方案 95.2. 大数据安全系统配置部署 155.2.1.系统部署架构 155.2.2. 硬件设备清单 155.2.3. 软件清单 165.2.4. 兼容性设计 165.2.5. 可靠性设计 16第6章附录 176.1.大数据安全
2、调研表 171.1. 大数据现状说明随着大数据规模性、多样性、高速性、真实性特征的逐步显现，以及数据 资产逐渐成为现代商业社会的核心竞争力，大数据对行业用户的重要性也日益突 出。世界经济论坛报告认为，“大数据为新财富，价值堪比石油”，大数据之父 维克托则预测，数据列入企业资产负债表只是时间问题。同时，大数据将推动国 民经济各行业各领域的创新应用，电子政务、电子商务都将发生变化，信息资源 的战略重要性空前鼎盛，大数据将成为经济社会管理决策的基本平台。另外，大 数据也将引领商业模式的重要创新，传统商业模式将开展大数据的挖掘，信息服 务商将利用大数据开展个性化服务，移动互联网将开辟新型商务模式。大数
3、据所能带来的巨大商业价值，被认为将引领一场足以与20 世纪计算机 革命匹敌的巨大变革。大数据正在对每个领域造成影响，在商业、经济和其他领 域中，决策行为将日益基于数据分析，而不再是凭借经验和直觉。大数据正在成 为政府和企业竞争的新焦点。各大企业正纷纷投向大数据促生的新蓝海o Oracle. IBM、Microsoft和SAP共投入超过15亿美元成立各自的软件智能数据管理和 分析专业公司。在大数据时代，商业生态环境在不经意间发生了巨大变化：无处 不在的智能终端、随时在线的网络传输、互动频繁的社交网络，让以往只是网页 浏览者的网民的面孔从模糊变得清晰，企业也有机会进行大规模的精准化的消费 者行为研
4、究。大数据将成为未来竞争的制高点。1.2. 大数据安全现状分析基于 Hadoop 生态系统的大数据平台随着企业的不断采用及开源组织的持 续的优化、增强，已逐渐成为大数据平台建设的标准产品。然而Hadoop最初的 设计并未考虑其安全性，这些平台专注于发展数据处理能力，忽视了其他能力的 发展，但Hadoop生态系统作为一个分布式系统，承载了丰富的应用，集中了海 量的数据，如何管理和保护这些数据充满了挑战，当前市场上，大数据平台在数 据本身的安全管控方面普遍存在严重缺失和较大的漏洞。从企业内部来说，大数据平台的安全管控能力缺失，使得平台在数据存储、 处理以及使用等各环节造成数据泄露的风险较大，安全风
5、险面广，且缺乏有效的 处理机制；另一方面，企业敏感数据的所有权和使用权缺乏明确界定和管理，可 能造成用户隐私信息的泄露和企业内部数据的泄露，直接造成企业声誉和经济的 双重损失。从外部来看，数据即价值，大数据平台中复杂、敏感、全面的数据无疑会吸 引更多的潜在攻击者。同时，数据的大量汇集，使得黑客成功攻击一次就能获得 更多数据，极大降低了黑客的进攻成本。因此，大数据将有可能成为网络攻击的 显著目标。大数据平台安全能力的严重缺失和风险的普遍存在，导致大数据平台本身是 脆弱的，对企业数据安全造成了极大的风险，对企业来说是难以忽视的风险点。 第2章 建设目的通过本项目实施，可以实现如下目标：1、针对大数
6、据敏感数据信息，设计并落实敏感数据安全解决方案，实现敏 感数据的模糊化，确保敏感数据信息安全可靠；2、通过大数据平台安全方案的建设，填补XXXX大数据平台数据安全防护方面的空缺，有效降低大数据安全管控方面的风险。大数据平台范围：本项目范围适用于基于开源 Hadoop 架构的大数据平台环 境，包括 Mapreduce、 HDFS、 Hive、 HBse 等大数据组件。 第4章 建设原则大数据安全方案设计建设应遵循实用性、前瞻性、兼容性原则，其中： 适用性原则：必须适用 XXXX 实际大数据环境，能够与大数据平台顺利结 合，发挥安全管控效用；前瞻性原则：平台架构设计具有良好的前瞻性和扩展性，充分考
7、虑未来大数 据新技术的发展；兼容性原则：大数据安全平台应兼容基于 Hadoop 的各版本的要求，包括发 布版和开源版本。安全性原则：系统采取全面的安全保护措施，采用严格的访问控制机制、系 统冗余机制、数据保密机制等，保证安全平台的安全性。 第5章 大数据安全建设方案5.1.大数据脱敏方案5.1.1. 大数据脱敏设计架构大数据平台脱敏及模糊化模块主要包括两大功能：敏感数据发现和敏感数据脱敏。架构设计如下图所示：皺模化能脱及糊功轨感数.不岌现通过设置敏感数据发现策略，平台自动识别敏感数据，发现敏感数据后产生报警，保障数据在产生阶段安全。敏感数据发现功能包括如下内容：敏感信息规则库建立关系型数据检测
8、敏感内容描述检测敏感数据脱敏：针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能，保障敏感数据访问安全，同时基于大数据安全分析 技术，发现敏感数据访问的异常行为，并提供敏感数据视图，实现全局化数据管 理和对各种类别敏感数据脱敏的精细化管理。数据脱敏及模糊化功能模块是在数据库层面对数据进行屏蔽、加密、隐藏、 审计或封锁访问途径的方式。该模块作为一个网关形式部署，所有需要进行敏感 数据动态脱敏的应用系统需通过该产品实现对数据库的访问。数据脱敏：当应用程序请求通过敏感数据脱敏模块时，对其进行实时筛选，并依据用户角色、职责和其他定义规则对敏感数据进行脱敏处理。 脱敏
9、的方式包括如下几种形式：数据替换-以虚构数据代替真值； 截断、加密、隐藏或使之无效-以“无效”或*代替真值；随机化-以随机数据代替真值； 偏移-通过随机移位改变数字数据； 访问预警：在大数据应用正常访问行为模型自学习基础上，进行应用异 常行为分析、发现及告警功能强化应用安全管控，保证数据安全。5.1.2. 大数据脱敏工作原理通过认证授权服务进行认证登录后，使用 JDBC 方式对大数据平台数据仓 库进行操作，根据控制、规则策略、防火墙网络阻断等技术手段，达到模糊化要 求，再分配给业务、运维人员使用。iTt.s. t. 9. s.i.C!DatNode访问预警数据视图JcbTrackerNameN
10、-pdjeDriver(Pomcilerx Optimizer Executor)Thrift Server敏感数罄发圳JDBC/ODBC数据仓库NodeMana|ger分布式文 件系统Wsbuj.TaskTEacksr用户接口层：用户接口主要有三个：CLI, Client和WebUI。其中最常用的是CLI, Cli 启动的时候，会同时启动一个 Hive 副本。 Client 是 Hive 的客户端，用户连接 至Hive Server。在启动Client模式的时候，需要指出Hive Server所在节点， 并且在该节点启动Hive Servero WUI是通过浏览器访问Hive。本方案采用 C
11、lient客户端Beeline的方式对Hive进行操作。数据脱敏平台：客户端通过数据脱敏平台登录Hive后，对Hive进行操作。通过脱敏策略配 置，使用户可访问数据进行脱敏，通过数据异常行为分析、发现，进行数据访问 告警，保护敏感数据安全，并在WEB前端进行视图展示。数据存储：Hive将元数据存储在数据库中，连接到这些数据库（mysql，derby）的模 式分为三种:单用户模式、多用户模式、远程服务器模式。元数据包括Database、 表名、表的列及类型、存储空间、分区、表数据所在的目录等。 Driver：完成HQL的查询语句的词法分析、语法分析、编译、优化及查询计划的生 成。生成的查询计划存
12、储在HDFS中，并由MapReduce调用执行。 Hadoop 环境:Hive的数据存储在HDFS中，针对大部分的HQL查询请求，Hive内部自动转换为 MapReduce 任务执行。5.1.3. 大数据敏感数据发现5.1.3.1. 建立大数据敏感数据规则防止敏感信息泄漏威胁的首要步骤是定义企业敏感信息，通过建立敏感信息 样本库，定义企业的敏感信息的具体特征。敏感信息库内置企业各类敏感信息的识别规则，包括但不限于:身份证号码手机号码生日信用卡号码A .敏感信息规则应支持如下两类数据存储机制:A 结构化数据，如存储在数据库中的客户或员工记录等；A半结构化数据，半结构化数据具有一定的结构性。例如：
13、OEM是一种典 型的半结构化数据模型。同时敏感信息规则应支持用户自定义各类敏感信息规则以便在不同应用场 景中允许用户进行规则扩展。5.1.3.2. 大数据敏感数据检测脱敏系统支持对大数据平台存储的结构化和半结构化数据库、表进行敏感数 据扫描探测，并对每个数据表进行抽样数据匹配，基于敏感信息库来检测存储在 大数据平台的敏感数据如：客户信息、交易数据等。脱敏系统将数据库中的包含敏感信息的表和字段标记出来以实现各类高级 数据安全功能。例如利用敏感数据标记实现以下需求：用户数据库表中含有很多 客户信息（如用户姓名、身份证号、账号、手机号等），实现定义规则：只向外传输姓名，不作为信息泄密事件 姓名、账号
14、和电话等信息同时向外泄露，则就认定为信息泄露事件。 数据检测支持在给定数据行的任意列组合的基础上进行检测。例如，接受单 一姓名、账号、电话的检测，也能够接受“姓名”和“身份证号码”字段的组合， 因此可以灵活、方便地进行敏感数据的检测。5.1.3.3. 大数据敏感内容检测描述用户管理人员采用内容描述匹配来辅助建立敏感数据样本库。 内容描述匹配具有高度准确性，对结构化和半结构化数据同样适用，它通过 用户输入关键字、模式匹配、文件类型、文件大小、发送人、接收人、用户名和 网络协议等各类条件，来实现敏感信息的检测。1. 关键字检测支持多种模式的关键字检测：支持“*”和 “？”通配符检测；支持忽略大 小
15、写检测；支持多文种关键字检测；支持多关键字检测。支持支持临近关键字匹 配，通过定义某一跨度范围内的关键字对等，达到减少误报。2. 正则表达式检测 敏感数据往往具有一些特征，表现为一些特定字符之间的组合，这用正则表达式来进行规则定义。系统支持基于正则表达式的检测，实现对“规则字符串” 过滤与检查。3. 数据标识符检测 支持数据标识符检测。像身份证号码、手机号、银行卡号、驾照号等数据标示符都是敏感数据重要特征，这些数据标识符具有特定用处、特定格式、特定校 验方式。支持多种类型的数据标识符模板，包括如下类型身份证号码、银行卡号、驾 照、十进制IP地址、十六进制IP地址等。同时提供了相应的接口，用户可以基于实际情况自行编辑自己需要的数据标 识符校验器，如话单、详单等。5.1.4. 大数据脱敏技术方案5.1.4.1. 大数据脱敏设计思路数据脱敏是在用户层面对数据进行屏蔽、隐藏或封锁访问途径，从而达到敏 感数据保护的目的。1、首先需要配置对于某个用户、某一数据库的表、列，确认采用何种脱敏 方式；2、用户的 SQL 指令在被数据仓库解析执行之前，会首先进行脱敏
