《flex词法分析器1.doc》由会员分享，可在线阅读，更多相关《flex词法分析器1.doc（11页珍藏版）》请在金锄头文库上搜索。
1、实验项目一 词法分析器一、实验类型本实验为验证性实验。二、实验目的 1通过本实验加深对词法分析程序的功能及实现方法的理解；2使用flex实现词法分析程序。三、准备工作和预备知识Lex(Lexical Analyzar词法分析生成器)是Unix下十分重要的词法分析工具。经常用于语言分析，公式编译等广泛领域。1.Lex(Lexical Analyzar)初步示例先看简单的例子:一个简单的Lex文件exfirst.l内容：%#include stdio.h%n;0-9+ printf(Int: %sn,yytext);0-9*.0-9+ printf(Float: %sn,yytext);a-zA-
2、Za-zA-Z0-9*printf(Var: %sn,yytext);+-*/%printf(Op: %sn,yytext);“.”printf(Unknown : %cn,yytext0);%在命令行下执行命令flex解析，会自动生成lex.yy.c文件：rootlocalhost liweitestflex exfirst.l进行编译生成parser可执行程序：rootlocalhost liweitestcc -o parser lex.yy.c ll或者rootlocalhost liweitestgcc lex.yy.c ll -o parser注意：如果不加-ll链结选项，cc编译
3、时会出现以下错误，后面会进一步说明。/tmp/cciACkbX.o(.text+0x37b): In function yylex: undefined reference to yywrap/tmp/cciACkbX.o(.text+0xabd): In function input: undefined reference to yywrap创建待解析的文件file.txt：titlei=1+3.9;a3=909/6bcd=4%9-333通过已生成的可执行程序，进行文件解析。rootlocalhost liweitest# ./parser file.txtVar: titleVar: i
4、Unknown : =Int: 1Op: +Float: 3.9Unknown : ;Var: a3Unknown : =Int: 909Op: /Int: 6Var: bcdUnknown : =Int: 4Op: %Int: 9Op: -Int: 333到此Lex用法会有个直观的了解：a.定义Lex描述文件b.通过lex，flex工具解析成lex.yy.c文件c.使用cc或gcc编译lex.yy.c生成可执行程序再来看一个比较完整的Lex描述文件exsec.l：%#include stdio.hint linenum;%“title”showtitle();nlinenum+;0-9+pr
5、intf(Int: %sn,yytext);0-9*.0-9+printf(Float: %sn,yytext);a-zA-Za-zA-Z0-9*printf(Var: %sn,yytext);+-*/%printf(Op: %sn,yytext);“.”printf(Unknown : %cn,yytext0);%showtitle()printf(- Lex Example -n);int main()linenum=0;yylex(); /*进行分析*/printf(nLine Count: %dn,linenum);return 0;int yywrap()return 1;进行解析编
6、译：rootlocalhost liweitestflex exsec.lrootlocalhost liweitestcc -o parser lex.yy.crootlocalhost liweitest./parser file.txt- Lex Example -Var: iUnknown : =Int: 1Op: +Float: 3.9Unknown : ;Var: a3Unknown : =Int: 909Op: /Int: 6Var: bcdUnknown : =Int: 4Op: %Int: 9Op: -Int: 333Line Count: 4这里就没有加-ll选项，但是可以
7、编译通过。下面开始着重整理下Lex描述文件.l。2.Lex(Lexical Analyzar)描述文件的结构介绍Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。一般可以分为。其中规则部分是必须的，定义和用户子程序部分是任选的。(1)定义部分定义部分起始于%符号，终止于%符号，其间可以是包括include语句、声明语句在内的C语句。这部分跟普通C程序开头没什么区别。%#include stdio.hint linenum;%(2)规则部分规则部分起始于%符号，终止于%符号，其间则是词法规则。词法规则由模式和动作两部分组成。
8、模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理。需要注意的是，lex将识别出来的单词存放在yytext字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。类似yytext这些预定义的变量函数会随着后面内容展开一一介绍。动作部分如果有多行执行语句，也可以用括起来。%titleshowtitle();nlinenum+;0-9+printf(Int: %sn,yytext);0-9*.0-9+printf(Float: %sn,yytext);a-zA-Za-zA-Z0-9*printf(Var: %sn,yytext);+-*/%p
9、rintf(Op: %sn,yytext);.printf(Unknown : %cn,yytext0);%A.规则部分的正则表达式规则部分是Lex描述文件中最为复杂的一部分，下面列出一些模式部分的正则表达式字符含义：A-Z, 0-9, a-z构成模式部分的字符和数字。-指定范围。例如：a-z指从a到z之间的所有字符。转义元字符。用来覆盖字符在此表达式中定义的特殊意义，只取字符的本身。表示一个字符集合。匹配括号内的任意字符。如果第一个字符是那么它表示否定模式。例如: abC匹配a, b,和C的任何一个。表示否定。*匹配0个或者多个上述模式。+ 匹配1个或者多个上述模式。?匹配0个或1个上述模式
10、。$作为模式的最后一个字符时匹配一行的结尾。 表示一个模式可能出现的次数。 例如: A1,3表示A可能出现1次或3次。a-z5表示长度为5的，由a-z组成的字符。此外，还可以表示预定义的变量。.匹配任意字符，除了n。( )将一系列常规表达式分组。如：Letter(Letter|Digit)*|表达式间的逻辑或。一些符号字符的字面含义。元字符具有。如：*相当于*。/向前匹配。如果在匹配的模式中的/后跟有后续表达式，只匹配模版中/前面的部分。如：模式为ABC/D输入ABCD，时ABC会匹配ABC/D，而D会匹配相应的模式。输入ABCE的话，ABCE就不会去匹配ABC/D。B.规则部分的优先级规则部
11、分具有优先级的概念，先举个简单的例子：%#include stdio.h%n;Aprintf(ONEn);AAprintf(TWOn);AAAAprintf(THREEn);%此时，如果输入内容：rootlocalhost liweitest# cat file1.txtAAAAAAArootlocalhost liweitest# ./parser file1.txtTHREETWOONELex分析词法时，是逐个字符进行读取，自上而下进行规则匹配的，读取到第一个A字符时，遍历后发现三个规则皆匹配成功，Lex会继续分析下去，读至第五个字符时，发现AAAA只有一个规则可用，即按行为进行处理，以此
12、类推。可见Lex会选择最长的字符匹配规则。如果将规则AAAAprintf(THREEn);改为AAAAAprintf(THREEn);./parser file1.txt输出结果为：THREETWO再来一个特殊的例子：%titleshowtitle();a-zA-Za-zA-Z0-9*printf(Var: %sn,yytext);%并输入title，Lex解析完后发现，仍然存在两个规则，这时Lex只会选择第一个规则，下面的则被忽略的。这里就体现了Lex的顺序优先级。把这个例子稍微改一下：%a-zA-Za-zA-Z0-9*printf(Var: %sn,yytext);titleshowtitle();%Lex编译时会提示：warning,
