《审计数据采集过程中容错技术探索》由会员分享，可在线阅读，更多相关《审计数据采集过程中容错技术探索（9页珍藏版）》请在金锄头文库上搜索。
1、审计数据采集过程中容错技术探索吴笑凡 万建国（审计署驻南京特派办）审计人员在获取被审计单位业务数据的过程中遇到原始数据的质量常常参差不齐，如果不加处理使用相关的数据采集工具直接采集，通常不能有效地完成审计数据获取任务。有时仅仅是因为数据源中一条数据记录的某一个字段有问题就可能导致整张数据表的采集不能正常进行。因此掌握容错技术是审计人员在开展计算机审计过程中必备的能力。下面以使用 Microsoft SQL Server 采集有质量问题的数据为例，说明容错技术在审计数据采集过程中的应用。在对“某地税数据 3.mdb”中的“税票表 3”时直接用 Microsoft SQL Server 的 DTS
2、 导入导出工具，执行到最后一步，弹出错误信息对话框，如图所示，数据库中仅新建立了一张空表，表中一条数据都没有导进去。重复尝试的结果都是一样的。图 1 SQL Server 数据采集出错信息那么对于有数据问题的“税票表 3”应该怎么处理呢？这个问题其实可以通过 Microsoft SQL Server 的容错导入功能实现。容错导入的实现机制是将数据源表中没有问题的数据记录导入到目标表中，对于有问题的数据记录单独保存到文本文件中，并说明导入时出错的类型。用户可以根据出错信息修正出错数据，最后将修改后的数据以文本导入的方式追加到目标表中，以完成数据采集。步骤一：打开 DTS 包编辑器打开 Micro
3、soft SQL Server 的企业管理器，从“控制台根目录”开始依次选择下级目录Microsoft SQL Servers SQL Server 组 (Local) (Windows NT) 数据转换服务，直到选中“本地包”，鼠标右键点击“本地包”，选择“新建包”，如图所示，结果如图所示。 图 2 Microsoft SQL Server 数据采集容错技术步骤一图 3 Microsoft SQL Server 数据采集容错技术步骤一的结果步骤二：选择数据源在新建包的窗口中，从“连接”菜单中选择“2 Microsoft Access.”，如图所示，在弹出窗口中指定待采集文件“某地税数据 3.
4、mdb”，结果如图所示。图 4 Microsoft SQL Server 数据采集容错技术步骤二图 5 Microsoft SQL Server 数据采集容错技术步骤二的结果步骤三：选择目标数据库在新建包的窗口中，从“连接”菜单中选择“1 Microsoft OLE DB Provider for SQL Server.”，如图 6 所示，在弹出窗口中指定目标数据库为 Microsoft SQL Server 数据库“计算机审计”，结果如图 7 所示。图 6 Microsoft SQL Server 数据采集容错技术步骤三图 7 Microsoft SQL Server 数据采集容错技术步骤三
5、的结果步骤四：添加转换数据任务在新建包的窗口中，从“任务”菜单中选择“3 转换数据任务.”，如图 8 所示，然后首先点击窗口区的 Microsoft Access 图标作为“源连接”，再点击窗口区的 Microsoft OLE DB Provider for SQL Server 图标作为“目的连接”，形成从源连接指向目的连接的右箭头，如图 9 所示。 图 8 Microsoft SQL Server 数据采集容错技术步骤四图 9 Microsoft SQL Server 数据采集容错技术步骤四的结果步骤五：配置转换数据任务在新建包的窗口区选中代表转换数据任务的右箭头，从“包”菜单中选择“属性
6、（P）”，如图 10所示。 图 10 Microsoft SQL Server 数据采集容错技术步骤五弹出“转换数据任务属性”窗口，在默认的 TAB 页面上配置“源”的信息，可以保持默认选项不变，如图 11 所示。图 11 Microsoft SQL Server 数据采集容错技术步骤五“源”配置切换到第 2 个 TAB 页面配置“目的”，点击“创建”按钮，弹出“创建目的表”窗口，给出创建新表的默认配置，如图 12 所示，点击“确定”按钮，关闭“创建目的表”窗口，回到“目的”TAB 页面，如图 13 所示。图 12 Microsoft SQL Server 数据采集容错技术步骤五的“目的”配置
7、过程图 13 Microsoft SQL Server 数据采集容错技术步骤五的“目的”配置第 3 个 TAB 页面配置“转换”，可保持默认配置，在导入大数据量的表时建议将源和目的分别作为一个整体连接起来，以提高导入效率，如图 14 所示。图 14 Microsoft SQL Server 数据采集容错技术步骤五的“转换”配置第 4 个 TAB 页面“查找”可以保持默认配置。在最后一个 TAB 页面配置“选项”中指定异常错误文件的存放位置，勾选“错误文本”和“源错误行”，在“最大错误计数”中给定希望容错的个数（最大可以容错 9999 个），如图 15 所示，然后点击“确定”，完成转换数据任务属
8、性的配置。 图 15 Microsoft SQL Server 数据采集容错技术步骤五的“选项”配置步骤六：容错导入在新建包的窗口中，从“包”菜单中选择“执行(X)”，如图 16 所示，执行结果是成功导入了“税票表 3”中 140477 条正确的记录，如图 17 所示。同时出错信息文件“1.txt”和出错数据集合“1.txt.source”被保存到指定位置。图 16 Microsoft SQL Server 数据采集容错技术步骤六图 17 Microsoft SQL Server 数据采集容错技术步骤六的结果步骤七：查看出错信息文件打开步骤四时在硬盘上保存的出错信息文件“1.txt”，从中可以
9、看到以下的出错信息，如图 18所示。图 18 SQL Server 数据采集容错技术步骤七查看出错信息文件根据出错信息，我们知道一共有 2 条记录未正常导入，这 2 条记录分别位于原文件的 23939 行和30373 行，都在第 4 列“所属时期止”字段插入数值时发生了错误，错误的类型为数据溢出。步骤八：处理有问题的数据文件出错的那两行数据文件数据被保存在和“1.txt”存在的那个文件夹里，保存文件名为“1.txt.Source”。打开这文件，如图 19 所示。图 19 SQL Server 数据采集容错技术步骤八处理出错数据找到竖线分隔符分隔的第 4 列，发现数据值分别为“4/27/2209
10、”和“7/4/2209”，从图 13 可知目标表的第 4 列“所属日期止”的数据类型为 smalldatetime。从 Microsoft SQL Server 的联机丛书可检索出以下信息：“使用 smalldatetime 数据类型存储从 1900 年 1 月 1 日至 2079 年 6 月 6 日的日期（每个数值要求 4 个字节的存储空间）。”因为数据值突破了数据类型的值域，因此产生了数据溢出。通过和被审计单位沟通，查实这两条数据的第 4 列“所属日期止”系填写错误，真实数据应为“4/27/2009”和“7/4/2009”。据此修改“1.txt.source”。步骤九：追加数据完成采集将修改过的以竖线分隔符的“1.txt.source”文件通过 DTS 导入/导出工具追加到目标数据库中的“税票表 3”中，最终完成了所有 140479 条数据的采集，如图 20 所示。图 20Microsoft SQL Server 数据采集容错技术步骤九追加数据完成采集值得注意的是容错采集数据的优点就是它实现了包含错误信息的文件的正常导入；但容错采集在执行效率方面也存在一定的不足，表现为一次只能配置并导入一张表，不能实现批量采集的功能。因此在审计数据采集实践中，建议先使用 DTS 导入导出工具批量导入，对报错无法实现采集的表再逐一进行容错导入。（吴笑凡 万建国）
