《管理信息化数据采集自动化处理与数据挖掘..》由会员分享，可在线阅读，更多相关《管理信息化数据采集自动化处理与数据挖掘..（48页珍藏版）》请在金锄头文库上搜索。
1、HUNAN UNIVERSITY毕业设计（论文）设计（论文）题目: 数据采集自动化处理与数据挖掘 学生姓名: 武 祥 斌 学生学号: 20041610326 专业班级: 软件工程2004级开发2班 指导老师： 李 玮 系主任(院长)： 林亚平 2008年5月26日数据采集自动化处理与数据挖掘摘要目前，随着社会经济的发展，金融市场变的异常庞大和复杂，而基金作为一种金融衍生产品，在金融市场中占有一席之地。随着基金产业的不断发展，各种类型的基金进入金融市场，作为一种理财产品，就是要为大众服务，帮助大家理财，然而当投资者面对大量的基金产品，不知应该怎样选择，所以我们的目标就是帮助普通的投资者和金融机构
2、做出判断，指引他们选择适合自己的基金。为了达到上面的目的，我们就需要大量的数据来做支撑，所以采集这些基金产品的数据是十分重要的，每天有来自世界各地的金融机构为我们提供这些数据，而我们的目的就是要采集这些数据，保持数据的完整性和正确性就是我们这套系统的主要功能。我们采用程序的方式来实现这样的数据采集，并且不需要人工干预，本套系统采用了c#语言，以及三层结构本身的一些设计上特点做了较为详细的分析，以及大量采用了XML技术, 三层架构的设计实现了一套功能相对完备并具有良好用户界面和可扩展性的系统。在本中也对本文中的创新点进行阐述，同时展望了采集数据的自动化和数据挖掘的发展方向以及前景。关键词：基金，
3、XML，数据挖掘Automation of Data Collection and Data MiningABSTRACTAuthor: Wu xiang binTutor:Li WeiAt present, as the social and economic development, financial markets become unusually large and complex, and the fund as a financial derivative products, financial markets in a place. With the continuous de
4、velopment of the industry, various types of funds into the financial markets, financial products as a means for the public services, financial management help people, but when investors face a lot of fund products, they do not know what to choose, Our goal is to help ordinary investors and financial
5、 institutions to make a judgement, the guidelines they choose to suit their own funds.To achieve the above objectives, we need to do a lot of data support, the collection of data products of these funds is very important, every day from all over the world financial institutions to provide us with th
6、ese data, and our goal is to acquisition of these data, and maintain data integrity and accuracy of this system is our main function.We adopt a program approach to achieve such a data collection, and does not require manual intervention, this set of systems used c # language, and the three-tier stru
7、cture itself to do some design features a more detailed analysis, and a large number of XML technology, The three-tier system designed to achieve a relatively complete set of features and has a good user interface and scalability of the system. In this paper also on the point on innovation, and the
8、prospect of automated data collection and data mining direction for the development and prospects.Key words: fund, XML, data mining.目 录1绪论61.1 本课题的简介61.2本课题的目的和意义72技术背景82.1 Web服务的概念82.2 .NET WEB服务的优势82.3 XML92.4 系统的体系结构112.4.1 传统的两层结构112.4.2 三层结构简介112.4.3 用ASP.NET部署三层架构122.4.4 IIS132.4.5 体系结构建立的几个原则
9、142.5 数据挖掘152.5.1 什么是数据挖掘152.5.2 数据挖掘能做什么162.5.3 数据挖掘的实现173系统功能设计183.1 概要说明183.2 Downloader模块193.2.1 主要处理流程193.2.2 类图203.2.3 功能实现213.3 Parser模块223.3.1 主要处理文件流程223.3.2 类图243.3.3 功能实现253.4 Importer模块273.4.1 主要处理流程273.4.2 类图283.4.3 功能实现293.5 基金数据点定义表格293.6 数据库设计323.6.1 系统要求323.6.2 数据库逻辑结构图323.7 系统界面设计3
10、54 系统测试394.1 Downloader测试394.1.1 Email下载文件测试394.1.2 Ftp下载文件测试404.1.3 Ssh下载文件测试414.1.4 Local下载文件测试（Copy）414.1.5 Local下载文件测试（Move）424.2 Parser测试424.3 Importer测试434.3.1 导入文件到数据库中434.3.2 以固定优先级打开importer445 结论445.1 本文总结445.2 系统的前景展望455.3 下一步工作45致 谢46参考文献471绪论1.1 本课题的简介数据采集自动化处理其实就是一个系统，此系统主要任务就是自动化的采集数据
11、。对各种基金数据进行整理，分类，最后得到我们可以识别的标准格式的文件类型的数据文件。图1.1 系统整体数据流图图1-1是整个系统的结构图，通过结构图可以很清楚的看到整个系统的大致的结构和所完成的一些功能有一个初步的了解。1.2 本课题的目的和意义随着社会不断的进步和发展，人们的生活变的越来越充裕，手中的钱也越来越多，因此人们选择了理财产品，而不在是存在银行中，但是众多的金融衍生产品使投资者眼花缭乱。共同基金这种新兴投资方式的出现，是市场经济特别是证券高度发达的必然结果。面对各类证券数量的迅速扩张和投资风险的不断加大，个人投资者对共同基金的倚赖性逐渐增加。这是因为：共同基金将众多小额的资金汇集起
12、来，积少成多，能从规模经济中获益。随着我国经济商品化，货币化进程的发展和我国社会市场经济体制的确立，逐步发展和完善的证券市场将在其中发挥越来越重要的作用。因此，可以预料，共同基金在我国产生和发展也将是为期不远的现实。而我们的这个题目的目的就是在于帮助分析人员提供大量的基金数据，使分析人员不用关心数据，我们会提供给他们正确和完整的数据，而这些数据的来源就是世界上各个金融机构提供给我们的文件中包括的数据，我们采用自动化的数据采集，保证了快速和准确的把数据收集起来，然而再美国境内，美国的机构提供的都是格式统一的文件，这样我们很容易把数据转化为我们内部可以识别的格式文件，在美国之外，也就是欧洲和亚洲等
13、各个机构提供的文件格式不同，比如excel,pdf,txt等各种各样的格式，我们需要应对各种的方式来处理文件，最终得到统一的格式，为金融分析人员提供第一手的数据。这个系统的意义还在与能够减少人工的参与，大量减少人工的工作量，再最以前都是人工的读文件取数据并且录入数据，采用现在的信息化处理数据能够减少公司的开支并且得到最准确和及时的数据，这是金融分析最重要的一点。2技术背景2.1Web服务的概念Definition: A Web service is a software system designed to support interoperable machine-to-machine in
14、teraction over a network. It has an interface described in a machine-processable format (specifically WSDL). Other systems interact with the Web service in a manner prescribed by its description using SOAP messages, typically conveyed using HTTP with an XML serialization in conjunction with other We
15、b-related standards.Web服务是一个软件系统，是被开发用来支持可同时操作的，跨越网络的机器对机器之间的交互。它包含一个以机器可处理格式描述的接口(特指WSDL)。其他系统同Web服务交互以一种本身的描述中规定的方式，使用SOAP消息，代表性在同Web相关的标准的联结中使用一个XML连续，利用HTTP传达(消息)。2.2.NET WEB服务的优势谈到.NET，.NET是微软为Web服务提供的一个平台。微软做.NET的目的是，希望在PC和Internet之后，为用户提供更高层次的服务。也就是说，PC上做的事，有了Internet，可以做到100倍，而Web服务来到后，也许能做10000倍。 Web服务最终的目的可分为用户、开发商和企业用户。从用户看，Web服务将用户的需求分成几个部分，逐步完成。比如说，买一束花在今天的互联网上也能做到。但你需要去搜索卖花，搜索到的也
