词法分析课件.PPTVIP

另一种做法 开始 1 2 0 6 1-9 3 x 0-9 ,a-f 4 0-9 ,a-f 其它 0-9 其它 5 0-7 0-7 其它 （DEC，值） （HEX，值） （OCT，值） 其它 词法分析 词法分析(Lexical Analysis) 词法的表示 词法分析器的设计与实现 主要内容 词法分析器(Lexical Analyzer, Scanner)的功能 正规表达式 有穷状态自动机FA——状态图 词法分析器的设计与实现 3.1 词法分析（扫描）器的功能 功能：输入源程序，输出(单词)符号(token)。即：把构成源程序的字符串转换成单词符号的序列 单词符号的形式 按照最小的语义单位设计 通常表示为二元组： （单词符号种别，属性值 ） 关键——找出符号的分割符 例如：axx=70.35+12+exp(2.7) 1) 单词符号的表示 常用单词符号种别——分类（P42） 各关键字（保留字、基本字），各种运算符，各种分界符——各用一个种别码标识 其它标识符——用一个种别码标识 常数——用一个种别码标识 属性（值）——单词符号的值 常数的值，标识符的名字等 保留字、运算符、分界符的属性值可以省略 单词符号编码举例 单词符号 种别编码 内部值 助记符 DIM 1 $DIM IF 2 $IF DO 3 $DO STOP 4 $STOP END 5 $END 标识符 6 内部符号串 $IDN 整数 7 标准二进制 $ INT = 8 $ASG + 9 $PLUS * 10 $STAR ** 11 $POWER ， 12 $COMMA （ 13 $SLP ） 14 $SRP 例 3-1: 单词符号序列while(pointer!=N){S=S++;pointer++;} while (WHILE, _ ) ( (SLP, _ ) pointer (IDN,符号表项指针) != (NE, _ ) N (IDN,符号表项指针) ) (SRP, _ ) { (LP, _ ) S (IDN,符号表项指针) = (EQ, _) S (IDN,符号表项指针) ++ (INC, _ ) ; (SEMI, _ ) pointer (IDN, 符号表项指针) ++ (INC, _ ) ; (SEMI, _ ) } (RP, _ ) 2）相关问题 词法分析器可以作为一个独立的子程序，也可以作为一遍独立的扫描来安排。 输入缓冲区 工作区(token) 单词开始指针 扫描指针 正拼单词 双缓冲区 并行、捻接 每次移动向前指针都需要做两次测试 2）相关问题 ？如何设计和实现扫描器 大小问题128Byte*2|1024Byte*2|4096Byte*2 forward := forward +1; if forward在缓冲区第一部分末尾 then 重装缓冲区第二部分 else if forward在缓冲区第二部分末尾 then begin 重装缓冲区第一部分; 将forward移到缓冲区第一部分开始 end forward := forward + 1; if forward！= eof then if forward在第一部分末尾 then 重装第二部分 else if forward在第二部分末尾 then begin 重装第一部分; 将forward 移到第一部分开始 end else终止词法分析 /* eof 在表示输入结束 */ 3.2 符号的描述——正规(表达)式 例：标识符的文法描述 约定：用d表示数字：0,1,2,…,9; 用l表示字母：A,B,…,Z,a,b,…,z G =({d,l}, {S,T}, P, S) S→l S→S d S→S l 左线性文法 S→l |lT T→l T|l T→dT|d 右线性文法 表示集合：{l}{l,d}* 1) 正规式：正规语言的另一种描述方法 例3-2：标识符的另一种表示 l (l|d)* | 表示"或" * 表示Kleene闭包 符号的并列表示符号连接关系 正规式 r 表示正规集,相应的正规集记为 L(r) 正规(表达)式(Regular Expression——RE) 设∑是一个字母表， ⑴ Φ是∑上的RE，L(Φ)=Φ； ⑵ ε是∑上的RE，L(ε)={ε}； ⑶