《MDSSV03使用手册v》由会员分享，可在线阅读，更多相关《MDSSV03使用手册v（18页珍藏版）》请在金锄头文库上搜索。
1、海量数据存储检索系统SQL-LIKE语言使用手册MDSS-V0.3目 录1SQL-LIKE语言使用手册41.1MDSS-V0.3系统功能概述41.2SQL-LIKE中的数据类型41.3SQL-LIKE语法使用说明51.3.1CREATE51.3.2INSERT61.3.3SELECT61.3.4聚合函数71.3.5时间表达式函数81.4SQL-LIKE使用中注意的问题91.4.1where中多个条件的优先级说明91.4.2几点使用限制说明92MDSS-V0.3 SHELL操作手册112.1进入shell系统112.2SHELL操作方法1130.3版本新增功能153.1几个常用命令的符号链接15
2、3.1.1进入SHELL命令153.1.2检索结果文件导出命令153.1.3根据文件构建检索条件并导出检索结果命令153.2域名分级检索功能163.2.1域名分级定义163.2.2MDSS中域名分级函数的使用164命令行操作方法184.1基本功能184.2语法184.3举例191 SQL-LIKE语言使用手册1.1 MDSS-V0.3系统功能概述SQL-LIKE是为MDSS系统设计的数据检索语言，MDSS-v0.3系统主要功能如下：n 提供二维表格数据模型；n 以一条记录为原子操作；n 利用分布式存储框架，实现数据和索引的分布存储、并发检索功能；n 在单一表空间内利用SQL-LIKE语言实现：
3、精确查询，模式查询，多属性查询，区间查询，统计排序，函数聚合等检索功能；n 支持近期数据的快查（近期缓存在集群内存中）功能；1.2 SQL-LIKE中的数据类型 目前MDSS-V0.3 SQL-LIKE语言支持六种基本数据类型包括：INTEGER或INT、IPV4_ADDR、IPV6_ADDR、CHAR、STORE、TIMESTAMP六类：INTEGER或INT，IPV4_ADDR、IPV6_ADDR、CHAR支持where条件查询，STORE不支持where条件查询，直接保存数据，每种类型使用规则如下：l 整数类型：关键字：INTEGER或INTn 例如：ID INTEGER；n 说明：IN
4、TEGER类型字段支持算术比较（,=），支持统计查询(SUM，COUNT，AVG)；l IP字段类型：关键字：IPV4_ADDR, IPV6_ADDR。 IPV4_ADDR保存IPV4类型的IP地址，IPV6_ADDR保存IPV6类型的IP地址n 例如：sip IPV4_ADDR；n 说明：支持IP类型数据的区间检索、子网检索；sip=10.10.10.0 to 10.10.10.255,表示sip在整个10.10.10.*段的IP地址；l 索引类型：关键字CHARn 说明：CHAR类型字段建立索引，支持精确查询，模糊查询；l 存储类型：关键字：STOREn 说明：STORE类型字段直接存储到
5、数据文件中，不支持where查询条件；l 时间类型：关键字TIMESTAMPn 说明：记录以字符串形式记录的时间信息，以秒为单位, TIMESTAMP使用“年月日时分秒”时间字符串表示，如“206”表示2011年5月14日6点6分6秒；1.3 SQL-LIKE语法使用说明 SQL-LIKE是为海量数据存储系统MDSS设计的数据检索操作语言。SQL-LIKE通过提取标准SQL语言中的核心操作逻辑，支持针对单表空间的多维属性查询、统计操作。SQL-LIKE具体实现如下三类功能操作：表空间管理、数据查询统计、数据管理等操作，基本使用规则如下：l 命令、关键字不区分大小写，用户自定义的字段名区分大小写
6、；l 每条命令以“；”作为命令结束标记符号；l 表名、字段名中不能出现#， $，￥，|，%，*，等字符；l 数据中如果有特殊字符，需要加两个单引号括起来，如Aabc abc，表示Aabc abc作为一个字段，插入到数据库中，但是不载入数据库；l 区间查询使用“ to ”表示，支持数字、IP类型、以及时间戳类型的检索； SQL-LIKE基本操作命令包括：CREATE，INSERT以及SELECT三类；1.3.1 CREATE命令作用：创建表空间；基本格式：CREATE TABLE TABLENAME (FIELDNAME FIELDTYPE , FIELDNAME FIELDTYPE,);n F
7、IELDNAME：字段名，不能以?,*等通配符开始；n FIELDTYPE：字段类型，包含INTEGER, IPV4_ADDR, IPV4_ADDR,TIMESTAMP,INDEX, STORE六类基本类型,具体含义如1.1节。1.3.2 INSERT命令作用：插入记录基本格式：INSERT INTO TABLENAME VALUES(VALUE1 , VALUE1);“VALUE1 , VALUE1”构成的value列表使用“，”分隔，value列表使用括号括起来。1.3.3 SELECT命令作用：检索记录；基本格式：SELECT FIELDSLIST FROM TABLENAME WHER
8、E (CONDITION) GROUP BY FIELDNAME ORDER BY FIELDNAME ASC | DESC TOP K | LIMIT K;n FIELDSLIST: DISTINCT | * | COUNT ( FIELDNAME | * ) | SUM ( FIELDNAME)| AVG ( FIELDNAME)| ,FIELDNAME,各个字段名之间，统计函数与其余字段之间使用“,”分割开；支持COUNT，SUM，AVG，MAX，MIN统计查询函数；DISTINCT关键字直接放在SELECT后，如“select distinct ”表示针对整个FIELDS LIST列表
9、的去重；放到聚合函数里，SUM(DISTINCT FIELDNAME)表示针对统计字段的去重；支持字段名检索；n WHERE CONDITION AND|OR|NOT CONDITION ：where子句支持多个逻辑查询条件的组合，CONDITION表示每个逻辑查询条件；多个条件之间使用逻辑操作符号AND，OR，NOT连接；如：where domain = .* and port=8080;当where中有多个逻辑条件时，计算顺序是从左到右依次进行（可以理解为优先级从左向右依次降低），比如：检索IP地址池中所有类型为A的DNS记录，可以写作：select * from domaintable
10、where IP=ip1 or IP=ip2 or IP=ip3 or or IP=ipn and type = A; 当逻辑表达式中有not时，做and not处理；n CONDITIONINGETER类型支持关系运算：=，等关系比较;IP地址类型字段支持子网查询，如“sip=127.10.10.1 to 127.10.10.255”检索127.10.10网段所有的IP地址;CHAR支持模糊查询：*表示字符串，?表示单个字符串；n ORDER BY结果集排序，排序标识关键字为：ASC或DESC，默认是升序ASC。目前支持对单一字段进行排序；n GROUP BY结果集分组关键字；可以针对多个字
11、段进行分组；n TOP K 返回符合条件的前K条记录；1.3.4 聚合函数MDSS-V0.3主要的聚合函数包括：COUNT，SUM，AVG，MAX，MIN,LENGTH;n COUNT统计符合条件的记录数；n SUM，AVG，MAX，MIN函数可以针对INT类型进行计算；n LENGTH取字符串的长度;目前统计函数可以同时出现多个：如：select name3,avg(name1),sum(name2) from tablename where name3 10 group by name3;1.3.5 时间表达式函数为了提高检索灵活性，SQL-Like语言支持时间表达式的计算，支持如下时间函
12、数：1、取当前时间函数:%CURRENT_TIME%CURRENT_TIME 是表示获取当前系统时间。如果其后需要进行四则运算（目前系统不支持除法运算），需要把四则运算放到 %号里边。CURRENT_TIME 后边跟着的数值的单位为秒。注意：%号一定是要成对出现举例：Select count(*) from t1 where time = %CURRENT_TIME - 2*3600 -1800% to %CURRENT_TIME%;假设当前时间为：2011年6月1号10点30分整，则该sql会被翻译为：Select count(*) from t1 where time = 200 to 2
13、00;2、支持时间函数:to_date()To_date函数会带参数，参数格式为：年-月-日 时:分:秒，举例：Select count(*) from t1 where time = to_date(2011-6-1 10:3:00) to to_date(2011-6-2 10:3:00);该sql会被翻译为：Select count(*) from t1 where time = 200 to 200;3、取当前时间的零点:%CURRENT_DAY%取当天时间的零点函数，具体含义与%CURRENT_TIME%相同。1.4 SQL-LIKE使用中注意的问题1.4.1 where中多个条件的
14、优先级说明当where中有多个逻辑条件时，通过and or not连接，从左到右优先级依次降低，取双目逻辑操作符号做集合运算（具体含义见1.2 where部分的说明）；1.4.2 几点使用限制说明1. 聚合函数使用限制与统计函数SUM，AVG等同时出现在select子句中的字段名必须同时出现在GROUP BY中子句中；如：select name1, sum(name2) from tablename where name110 group by name1;/name1必须出现在group by子句中2. 时间检索条件的限制MDSS-V0.3针对网络流数据做了基于时间存储的优化处理，在检索条件
15、中使用TIMESTAMP等字段类型的时间检索条件会提高检索效率，但是时间检索条件只能使用一次。使用多个时间检索条件优化技术无效。3. AS关键字的限制MDSS-V0.3中AS支持聚合函数重命名并排序的操作；但是别名不能出现在where子句中：select domain,sum(count) as CNT domain from domaintable where type=A group by domain order by CNT;4. 目前MDSS不支持的功能SQL-LIKE不支持标准SQL中的如下功能：（1）SQL-LIKE不支持JOIN操作MDSS-v0.3 不支持多个表之间的JOIN操作；（2）SQL-LIKE不支持嵌套查询MDSS-v0.3 不支持多个SELECT语句嵌套查询；2 MDSS-V0.3 SHELL操作手册为了
