《数据脱敏到文件和文件导入数据库的实现[借鉴仅供]》由会员分享，可在线阅读，更多相关《数据脱敏到文件和文件导入数据库的实现[借鉴仅供]（15页珍藏版）》请在金锄头文库上搜索。
1、我司案号 委托日期 专利类型 技 术 交 底 书（发明或实用新型专利申请专用）技术交底书名称：数据脱敏到文件和文件导入数据库的实现 发明人名单：技术交底书撰写人：吴阳撰写人联系方式：E-mail：固定电话：手机：18108279331发明人所属项目组: 研发中心-数据管控产品线 本申请涉及的方案是否已在产品上应用（可选）:否 是 (产品名称) 本申请涉及的方案是否即将在产品上应用:否 是 (产品名称) (预计的应用时间) 交底书撰写注意事项：1、专利法予以保护的是技术方案不是功能，因此需要给出实现某种功能的具体技术方案，不能仅仅阐述功能；2、为了获得一个较大的保护范围，在能够实现最基本的发明目
2、的的前提条件下，发明人应该在当前实施的最优技术方案基础上发散思维，给出尽可能多的替代方案；3、同一个技术术语在整个交底书里只用一个词来表达，不要用多个词来表达。4、代理人和知识产权专员不是技术专家，当他们咨询时，发明人需要耐心讲解；如果代理人或知识产权专员要求补充必要的资料，发明人应当及时补充。一、缩略语和关键术语定义（下文出现的英文缩写术语在此提供对应的英文全称和中文译文，或中文专业术语的详细解释）敏感数据，指不为大众知悉，具有实际和潜在利用价值，丢失、不当使用或未经授权访问对社会、企业或个人造成危害的信息，如个人隐私信息、业务经营信息、财务信息、人事信息、IT运维信息等。数据脱敏，指对某些
3、敏感信息通过脱敏规则进行数据的变形，实现敏感数据的可靠保护。脱敏数据，指敏感数据经过数据脱敏处理后，不再包含某些敏感信息的数据。数据迁移，指将数据从一个载体迁移到另一个载体，比如：从数据库A迁移到数据库B，从文件A迁移到数据库A，从数据库A迁移到文件A等。XML，即可扩展标记语言(Extensible Markup Language)。标记是指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种信息的文章等。如何定义这些标记，既可以选择国际通用的标记语言，比如HTML，也可以使用像XML这样由相关人士自由决定的标记语言，这就是语言的可扩展性。XML是从SGML中简化修改出来的。文
4、件的导出，即将源数据库中脱敏后的数据导入到指定格式的文件中。文件的导入，即将excel文件经过脱敏操作过后导入到目标数据库中。二、背景技术以及与本申请相关的现有技术1、背景技术（即帮助理解本专利技术内容的公知常识，您基于什么样的背景发明的该专利）：随着信息技术的发展与大数据时代的到来，数据流通成为释放数据红利与价值的主要手段和途径，敏感数据在流通中缺乏有效管控，处于高风险状态。近年来，敏感数据泄漏事件屡见不鲜。敏感数据泄漏带来的不仅仅是经济损失，同时损害了金融机构和政府部门等权威机构的公信力，严重破坏了社会信用体系，影响了相关产业与全社会健康和谐发展。在这样的时代背景下，防止敏感数据的泄漏成为
5、了十分重要的问题，因此我们开发了数据脱敏网关。数据脱敏网关就是针对敏感数据进行数据脱敏，保证数据在做数据迁移的和使用时的安全性和保密性。数据脱敏网关主要实现了敏感数据在数据库之间的脱敏和迁移，针对客户的需求，又加入了数据库到文件（支持的文件格式有csv，excel，json，xml，txt）的脱敏，和文件（暂时只支持07版以前的excel，或者excel压缩打包后的zip包）到数据库的脱敏。2、与本专利最接近的现有技术（现有技术就是已经有的技术，如果该现有技术的缺点正是本发明能够消除的，则为相关现有技术，否则为非相关现有技术；相关现有技术中，与本专利共同的技术特征最多的，可视为最接近现有技术）
6、最接近现有技术是数据脱敏网关中的数据迁移管理模块，实现了数据库之间的脱敏迁移。2.1现有技术的实现方案（给出现有技术的系统图、流程图，结合附图说明现有技术的实现过程）数据迁移管理模块作为数据脱敏网关的核心功能，其下又分为三个子模块： 策略管理，任务管理，任务日志管理，集成在数据脱敏网关中。如下图：策略管理：实现了相关脱敏策略的增删改查操作。任务管理：实现了相关脱敏任务的增删改查操作，改子模块是脱敏迁移管理的核心功能，整个的数据脱敏迁移都是在这里实现，目前实现了数据库到数据的脱敏迁移，数据到csv文件的脱敏迁移。任务日志管理：简单的任务日志查看功能。数据库脱敏迁移流程图2.2现有技术的缺点（一定
7、是采用本专利申请技术方案后能够消除的缺点，缺点可以是多个）现有数据迁移管理模块中，只是针对了数据库之间的脱敏迁移，在文件（excel）方面功能还不够完善，只存在简单的csv文件的导出功能，在遇到客户需要其他文件格式的时候，比如excel，xml，json等文件格式的时候没有良好的支持。 三、本申请所解决的技术问题（针对上述2.2点提出的缺点，引出发明动机，阐述本专利要解决的技术问题）在数据脱敏中，脱敏后的数据存放在一个ListMap集合中，其中每一个Map都对应数据库里面的一个数据，string为其列名，object为其值。难点在于怎样将数据按照每个文件对应的格式转换写入到文件当中，而且在ex
8、cel文件存在不同版本的区别，07版以前的excel每一个sheet只支持65535行的数据量，而07版本以后支持100万+行的数据量，map中的健对应excel的表头列名。xml的数据也有固定的格式要求，下文会贴出例子；而json数据在Java里面有现有的方法实现，就不做详细的阐述了。XML数据格式：value1value2.value1value2.备注：每一个node对应数据中的每一行数据，label对应数据库中的字段名，value对应其值。四、本申请技术方案的详细阐述（发明内容，重点介绍）1、本申请的总体技术实现（主要是代码方面的实现）。（总的构思）流程图：备注：因为这里是针对已经脱敏
9、的ListMap数据进行文件格式的输出，这里就不做脱敏的实现，只做文件输出的实现。后文中会用到一个公共的Document对象转String的方法：public static String doctoString(Document document) String str = ; try / 使用输出流来进行转化 ByteArrayOutputStream out = new ByteArrayOutputStream(); / 使用UTF-8编码 OutputFormat format = new OutputFormat( , true, UTF-8); XMLWriter writer =
10、 new XMLWriter(out, format); writer.write(document); str = out.toString(UTF-8); catch (Exception ex) ex.printStackTrace(); return str; 1 ListMap转xml文件格式的实现（前文已经写出了xml文件格式的基本，下文就不在做详细的赘述了）：引用的包：org.dom4j。根据xml文件的基本格式看出，在做具体实现的时候，我是把list里面的数据放在nodes标签里面的，其子标签node则对应数据库里面的每一行数据，数据库对应的字段名则是key标签里面的label
11、属性。这里的重点就是找出最简单的方法将数据库里面的字段名写入到label里面，在这里我们只需要遍历list0中的数据就能得出数据库中的字段名了，实现代码如下： public static String listtoXml(List list) throws Exception /初始化一个document对象，用来添加XML内容Document document = DocumentHelper.createDocument();/初始化一个Element对象，其表示XML文档中的元素，元素可包含属性，其他元素或文本，如果元素含有文本，则在文本节点中表示该文本，文本永远存储在文本节点中。 此时
12、创建了一个父节点nodes，用于记录list里面的所有数据。Element nodesElement = document.addElement(nodes); int i = 0;/遍历list for (Object o : list) /初始化Element对象，创建nodes节点的子节点node，用于记录每一行数据。Element nodeElement = nodesElement.addElement(node); if (o instanceof Map) /遍历mapfor (Object obj : (Map) o).keySet() /初始化Element对象，创建node
13、节点的子节点key，用于记录每一格的具体数据。Element keyElement = nodeElement.addElement(key); /key节点的label属性，即map的健，对应数据库的字段名。keyElement.addAttribute(label, String.valueOf(obj); /key节点的具体内容，即map的值，对应数据库的值。keyElement.setText(String.valueOf(Map) o).get(obj); else Element keyElement = nodeElement.addElement(key); keyElement.addAttribute(label, String.valueOf(i); keyElement.setText(String.valueOf(o); i+; /将Document对象转为字符串返回，在转字符串的时候设定了具体的编码，xml为UTF8的编码。 return doctoString(document); 到此就将一
