实验项目一 词法分析器一、实验类型本实验为验证性实验二、实验目的 1．通过本实验加深对词法分析程序的功能及实现方法的理解；2．使用flex实现词法分析程序三、准备工作和预备知识Lex(Lexical Analyzar 词法分析生成器)是Unix下十分重要的词法分析工具经常用于语言分析，公式编译等广泛领域1.Lex(Lexical Analyzar) 初步示例先看简单的例子:一个简单的Lex文件 exfirst.l 内容：%{#include "stdio.h"%}%%[\n] ;[0-9]+ printf("Int : %s\n",yytext);[0-9]*\.[0-9]+ printf("Float : %s\n",yytext);[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext);[\+\-\*\/\%] printf("Op : %s\n",yytext);“.” printf("Unknown : %c\n",yytext[0]);%%在命令行下执行命令flex解析，会自动生成lex.yy.c文件：[root@localhost liweitest]flex exfirst.l进行编译生成parser可执行程序：[root@localhost liweitest]cc -o parser lex.yy.c –ll或者[root@localhost liweitest]gcc lex.yy.c –ll -o parser[注意：如果不加-ll链结选项，cc编译时会出现以下错误，后面会进一步说明。
]/tmp/cciACkbX.o(.text+0x37b): In function `yylex':: undefined reference to `yywrap'/tmp/cciACkbX.o(.text+0xabd): In function `input':: undefined reference to `yywrap' 创建待解析的文件 file.txt：titlei=1+3.9;a3=909/6bcd=4%9-333通过已生成的可执行程序，进行文件解析[root@localhost liweitest]# ./parser < file.txtVar : titleVar : iUnknown : =Int : 1Op : +Float : 3.9Unknown : ;Var : a3Unknown : =Int : 909Op : /Int : 6Var : bcdUnknown : =Int : 4Op : %Int : 9Op : -Int : 333到此Lex用法会有个直观的了解：a.定义Lex描述文件b.通过lex，flex工具解析成lex.yy.c文件c.使用cc或gcc编译lex.yy.c生成可执行程序再来看一个比较完整的Lex描述文件 exsec.l ：%{#include "stdio.h"int linenum;%}%%“title” showtitle();[\n] linenum++;[0-9]+ printf("Int : %s\n",yytext);[0-9]*\.[0-9]+ printf("Float : %s\n",yytext);[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext);[\+\-\*\/\%] printf("Op : %s\n",yytext);“.” printf("Unknown : %c\n",yytext[0]);%%showtitle(){printf("----- Lex Example -----\n");}int main(){linenum=0;yylex(); /* 进行分析 */printf("\nLine Count: %d\n",linenum);return 0;}int yywrap(){return 1;}进行解析编译：[root@localhost liweitest]flex exsec.l[root@localhost liweitest]cc -o parser lex.yy.c[root@localhost liweitest]./parser < file.txt----- Lex Example -----Var : iUnknown : =Int : 1Op : +Float : 3.9Unknown : ;Var : a3Unknown : =Int : 909Op : /Int : 6Var : bcdUnknown : =Int : 4Op : %Int : 9Op : -Int : 333Line Count: 4这里就没有加-ll选项，但是可以编译通过。
下面开始着重整理下Lex描述文件.l 2.Lex(Lexical Analyzar) 描述文件的结构介绍Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词一般可以分为<定义部分><规则部分><用户子程序部分>其中规则部分是必须的，定义和用户子程序部分是任选的 (1)定义部分定义部分起始于 %{ 符号，终止于 %} 符号，其间可以是包括include语句、声明语句在内的C语句这部分跟普通C程序开头没什么区别{#include "stdio.h"int linenum;%}(2) 规则部分规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则词法规则由模式和动作两部分组成模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理需要注意的是，lex将识别出来的单词存放在yytext[]字符数据中，因此该数组的内容就代表了所识别出来的单词的内容类似yytext这些预定义的变量函数会随着后面内容展开一一介绍动作部分如果有多行执行语句，也可以用{}括起来title showtitle();[\n] linenum++;[0-9]+ printf("Int : %s\n",yytext);[0-9]*\.[0-9]+ printf("Float : %s\n",yytext);[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext);[\+\-\*\/\%] printf("Op : %s\n",yytext);. printf("Unknown : %c\n",yytext[0]);%%A.规则部分的正则表达式规则部分是Lex描述文件中最为复杂的一部分，下面列出一些模式部分的正则表达式字符含义：A-Z, 0-9, a-z 构成模式部分的字符和数字。
指定范围例如：a-z 指从 a 到 z 之间的所有字符\ 转义元字符用来覆盖字符在此表达式中定义的特殊意义，只取字符的本身[] 表示一个字符集合匹配括号内的任意字符如果第一个字符是^那么它表示否定模式例如: [abC] 匹配 a, b, 和C的任何一个 ^ 表示否定 匹配0个或者多个上述模式 匹配1个或者多个上述模式 匹配0个或1个上述模式 作为模式的最后一个字符时匹配一行的结尾{ } 表示一个模式可能出现的次数 例如: A{1,3} 表示 A 可能出现1次或3次[a-z]{5} 表示长度为5的，由a-z组成的字符此外，还可以表示预定义的变量 匹配任意字符，除了 \n )将一系列常规表达式分组如：{Letter}({Letter}|{Digit})*| 表达式间的逻辑或"一些符号" 字符的字面含义元字符具有如："*" 相当于 [\*]/ 向前匹配如果在匹配的模式中的"/"后跟有后续表达式，只匹配模版中"/"前面的部分如：模式为 ABC/D 输入 ABCD，时ABC会匹配ABC/D，而D会匹配相应的模式输入ABCE的话，ABCE就不会去匹配ABC/DB.规则部分的优先级规则部分具有优先级的概念，先举个简单的例子：%{#include "stdio.h"%}%%[\n] ;A {printf("ONE\n");};AA {printf("TWO\n");};AAAA {printf("THREE\n");};%%此时，如果输入内容：[root@localhost liweitest]# cat file1.txtAAAAAAA[root@localhost liweitest]# ./parser < file1.txtTHREETWOONELex分析词法时，是逐个字符进行读取，自上而下进行规则匹配的，读取到第一个A字符时，遍历后发现三个规则皆匹配成功，Lex会继续分析下去，读至第五个字符时，发现"AAAA"只有一个规则可用，即按行为进行处理，以此类推。
可见Lex会选择最长的字符匹配规则如果将规则AAAA {printf("THREE\n");};改为AAAAA {printf("THREE\n");};./parser < file1.txt 输出结果为：THREETWO再来一个特殊的例子：%%title showtitle();[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext);%%并输入title，Lex解析完后发现，仍然存在两个规则，这时Lex只会选择第一个规则，下面的则被忽略的这里就体现了Lex的顺序优先级把这个例子稍微改一下：%%[a-zA-Z][a-zA-Z0-9]* printf("Var : %s\n",yytext);title showtitle();%%Lex编译时会提示：warning, 。