《一种大数据查询的方法及系统》由会员分享，可在线阅读，更多相关《一种大数据查询的方法及系统（16页珍藏版）》请在金锄头文库上搜索。
1、(10)申请公布号 CN 102279849 A(43)申请公布日 2011.12.14CN102279849A*CN102279849A*(21)申请号 201010195979.4(22)申请日 2010.06.09G06F 17/30(2006.01)(71)申请人中兴通讯股份有限公司地址 518057 广东省深圳市南山区科技园科技南路中兴通讯大厦(72)发明人王志红 徐震海(74)专利代理机构深圳鼎合诚知识产权代理有限公司 44281代理人宋鹰武(54) 发明名称一种大数据查询的方法及系统(57) 摘要本发明公开了一种大数据的查询方法及系统，所述方法包括：配置业务查询规则以及所述业务查
2、询规则与查询条件的对应关系；根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；根据所述查询方案查询数据，将查询结果返回给客户端。本发明通过配置查询规则及其与查询条件的对应关系，从而能够根据查询条件提取相应的查询规则，构造出优化的查询方案。这样得到的查询方案，适应于不同的查询条件，保证了查询的效率。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 1 页 说明书 9 页 附图 5 页CN 102279854 A 1/1页21.一种大数据的查询方法，其特征在于，包括：配置业务查询规则以及
3、所述业务查询规则与查询条件的对应关系；根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；根据所述查询方案查询数据，将查询结果返回给客户端。2.如权利要求1所述的方法，其特征在于，所述配置业务查询规则为配置不同业务属性的对应查询粒度。3.如权利要求1所述的方法，其特征在于，还包括：存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方案中的至少一者，如果客户端的查询请求中的查询条件与历史查询条件相同，则根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方
4、案查询数据，将查询结果返回给客户端。4.如权利要求1所述的方法，其特征在于，还包括：对不同的数据源类型进行适配。5.如权利要求1-4所述的方法，其特征在于，还包括：设置预查询阈值及查询标记；当本次查询出的数据量达到所述预查询阈值，将本次查询出的数据作为本次查询结果返回给客户端，并通过查询标记对本次查询结果进行标记；并在下一次按同样查询方案进行查询时根据查询标记继续查询。6.一种大数据的查询系统，其特征在于，包括：查询配置单元，用于配置业务查询规则以及所述业务查询规则与查询条件的对应关系；查询方案构造单元，用于根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根
5、据提取出的业务查询规则构造查询方案；查询单元，用于根据所述查询方案查询数据，将查询结果返回给客户端。7.如权利要求6所述的系统，其特征在于，所述配置业务查询规则为配置不同业务属性的对应查询粒度。8.如权利要求6所述的系统，其特征在于，还包括查询存储单元，用于存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方案中的至少一者，所述查询单元在客户端的查询请求中的查询条件与历史查询条件相同时，根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。9.如权利要求6所述的系统，其特征在于，还包括数
6、据源适配单元，用于对不同的数据源类型进行适配。10.如权利要求6-9所述的系统，其特征在于，还包括预查询设置单元，用于设置预查询阈值及查询标记；所述查询单元在本次查询出的数据量达到所述预查询阈值时，将本次查询出的数据作为本次查询结果返回给客户端；所述预查询设置单元通过查询标记对本次查询结果进行标记；所述查询单元在下一次按同样查询方案进行查询时根据查询标记继续查询。权 利 要 求 书CN 102279849 ACN 102279854 A 1/9页3一种大数据查询的方法及系统技术领域0001 本发明涉及信息检索技术领域，更具体的说，涉及一种大数据查询的方法及系统。背景技术0002 随着互联网的发
7、展，各业务系统中的数据量日趋庞大，特别是电信和互联网行业更是如此。面对这些大数据进行查询的需求，查询的性能和效率是首当其冲。0003 在服务器硬件及数据库配置等条件固定的情况下，若采用传统的查询方式，其查询效率随着数据量不断增大，会不断的降低，用户查询的响应时间会越来越慢，甚至会出现由于查询导致数据库无法使用的情况。尽管可考虑引入搜索引擎来实现海量数据的查询操作，但由于搜索引擎不能有效的理解业务数据，要实现针对特定行业的业务数据的快速分析查询，引入搜索引擎难度较大、工作量和实现复杂度太高。发明内容0004 本发明要解决的主要技术问题是，提供一种大数据查询的方法及系统，能够高效、快速地输出查询结
8、果。0005 为解决上述技术问题，本发明采用了如下技术方案：0006 一种大数据的查询方法，包括：0007 配置业务查询规则以及所述业务查询规则与查询条件的对应关系；0008 根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；0009 根据所述查询方案查询数据，将查询结果返回给客户端。0010 在本发明所述方法的一种实施例中，所述配置业务查询规则为配置不同业务属性的对应查询粒度。0011 在本发明所述方法的一种实施例中，还包括：存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方
9、案中的至少一者，如果客户端的查询请求中的查询条件与历史查询条件相同，则根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。0012 在本发明所述方法的一种实施例中，还包括：对不同的数据源类型进行适配。0013 在本发明所述方法的一种实施例中，还包括：设置预查询阈值及查询标记；当本次查询出的数据量达到所述预查询阈值，将本次查询出的数据作为本次查询结果返回给客户端，并通过查询标记对本次查询结果进行标记；并在下一次按同样查询方案进行查询时根据查询标记继续查询。0014 本发明还提供了一种大数据的查询系统，包括：0015 查询配置单元，
10、用于配置业务查询规则以及所述业务查询规则与查询条件的对应关系；说 明 书CN 102279849 ACN 102279854 A 2/9页40016 查询方案构造单元，用于根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；0017 查询单元，用于根据所述查询方案查询数据，将查询结果返回给客户端。0018 在本发明所述系统的一种实施例中，所述配置业务查询规则为配置不同业务属性的对应查询粒度。0019 在本发明所述系统的一种实施例中，还包括查询存储单元，用于存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应
11、的历史查询结果和历史查询方案中的至少一者，所述查询单元在客户端的查询请求中的查询条件与历史查询条件相同时，根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。0020 在本发明所述系统的一种实施例中，还包括数据源适配单元，用于对不同的数据源类型进行适配。0021 在本发明所述系统的一种实施例中，还包括预查询设置单元，用于设置预查询阈值及查询标记；所述查询单元在本次查询出的数据量达到所述预查询阈值时，将本次查询出的数据作为本次查询结果返回给客户端；所述预查询设置单元通过查询标记对本次查询结果进行标记；所述查询单元在下一次按同样查询
12、方案进行查询时根据查询标记继续查询。0022 本发明通过配置查询规则及其与查询条件的对应关系，从而能够根据查询条件提取相应的查询规则，构造出优化的查询方案。这样得到的查询方案，适应于不同的查询条件，保证了查询的效率。附图说明0023 图1是本发明实施例的大数据查询系统架构示意图；0024 图2是本发明实施例的大数据查询适配任意数据源系统架构示意图；0025 图3是本发明实施例的大数据查询系统的工作流程图；0026 图4是本发明实施例的大数据查询的业务分析流程图；0027 图5是本发明实施例的大数据查询处理流程图；0028 图6是本发明实施例的数据源适配模块处理关系图；0029 图7是本发明实施
13、例的大数据查询适配任意数据源系统文件数据源处理流程图。具体实施方式0030 下面通过具体实施方式结合附图对本发明作进一步详细说明。0031 本发明实施例的大数据查询方法，其主要包括：0032 配置业务查询规则以及所述业务查询规则与查询条件的对应关系；0033 根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；0034 根据所述查询方案查询数据，将查询结果返回给客户端。0035 其中，业务查询规则主要是配置业务系统的不同业务属性的对应查询粒度。业务属性，例如包括时间、类型、费率等等，例如一种业务查询规则可以是：配置不同业务属
14、性号说 明 书CN 102279849 ACN 102279854 A 3/9页5码对应的不同时间粒度，其中，可以配置业务属性SP号码的数据的最小粒度为分钟，配置业务属性个人号码的数据的最小粒度为天。0036 而查询条件中常见以号码和时间作为查询条件，因此，通过查询条件与业务查询规则的对应关系，找到查询条件中的查询号码所对应的业务查询规则，例如如果查询条件的查询号码是SP号码，则对应的业务查询规则是以分钟为粒度进行查询；查询号码是个人号码，则对应的业务查询规则是以天为粒度进行查询。0037 如果一种查询条件为：查询SP号码数据，查询时间为一天，则根据粒度划分为24*60次查询，每次向用户返回一
15、个粒度的数据，并可例如设置定时刷新，即每次返回一个粒度数据后，在定时时间到或者一个粒度的数据查询完毕后，自动向用户返回下一个粒度的数据。0038 类似的，如果一种查询条件是：查询个人号码数据，查询时间为两天，则根据粒度划分为两次次查询，每次向用户返回一个粒度的数据。0039 又如，在业务查询规则中，可以配置繁忙时间段，比如5月1日至3日的三天、10月1日至7日的七天、新年的七天等重要节假日为繁忙时间段，如果查询条件中的查询时间范围包括繁忙时间段，则按小时为粒度查询数据，如果为非繁忙时间段时，按天或月为粒度进行数据查询。0040 又如对于8860开头的SP号码，由于此类SP开展的业务种类较多，且
16、每种消息的费率都不同，因此可以配置业务查询规则为按费率类型为粒度进行查询。如果查询条件的号码是8860开头，则根据对应关系找到对应的业务查询规则是按数据的费率类型进行粒度查询，则每次只查询一种费率类型的数据。在用户需要后续数据时，再查询下一粒度的数据。0041 如图1所示，实现上述大数据查询方法的一种系统包括：控制模块、业务分析模块、查询模块。0042 控制模块：与业务分析模块、查询模块相连。控制模块接收客户端的查询请求，控制各个模块之间的流程关系。控制模块根据客户端的查询请求中的查询条件，判断是否已经存在请求对应的已经完成的查询，如果存在直接进入查询模块，否则将进入业务分析模块，作后续处理。0043 业务分析模块：与控制模块相连。当收到控制模块的请求后，业务分析模块从业务经验库查找是否已经存在请求条件对应的查询方案，如果没有则分析客户端请求的查询条件，根
