什么是词法分析
编译原理：词法分析简单的来说就是在字符串中提取一系列的word单词. 编译器的眼里, 我们的一切输入都是什么? 都是一个一个的字符串. 所以编译器干的就是字符串解析工作.
词法分析：自然就是解析出来一个一个的单词的. word单词
如何做词法分析
首先：明确的第一点, 单词（词法记号）是存在类型的. 解析出来的单词是不同的类型, 我们后序将其标记为Token结构体：{text + type（代码中用的status）}两个字段. 一个是单词内容, 另外一个就是单词类型. 类型赋予不同的分类. 不同的状态。
思考一下: Parse("ab2 345 34.56 87. 3ab 45.0 098 4 6."); 这样一个字符串解析操作先看词法分析规矩:
ab2 345 34.56 87. 3ab 45.0 098 4 6.
ab2 合法， 是标识符类型. identifier.
345 合法, 是整数类型.
34.56 合法, 是实数类型
3ab 这种, 不合法, 是错误类型 (错误状态, 标记)
针对上述的这些不同的类型, 状态，一般都是用枚举类型来枚举一下不同的状态的
然后接下来：就是把握状态迁移的时机了. 状态是如何迁移的, 以及什么时候应该进行状态迁移, 这些都是我们需要关心的问题.
思考状态迁移的时机：当一个单词分析完成的时候。需要解析下一个单词了, 状态可能需要迁移. 相同状态就一直循环提取，直到这个单词提取完成，再从初始状态继续提取下一个单词.
INIT初始状态，就是为了做一个缓冲状态, 中间状态. 标记的新的单词提取的开始. 新的词法记号提取的开始.
画出来一个状态迁移的图:
其实上述这个规则，那是相当的简单, 随便一说，大家都能懂是啥意思，哎呀，就是说，按照一定的不同类型的数据的限制规则来提取出合法不合法的单词, 提取完全之后，单词只是一个字符串，不具备一个特殊的含义, 所以我们需要为其添加类型，让其区别含义. 于是我们就加上一个status状态字段, 或者说是Type类型字段也OK
接下来看代码
前置数据声明: tokens用来保存我们解析字符串过程中提取出来的诸多的token词法标记. STATUS标记的是当前单词的提取状态, 也可以说是类型。
#include <stdio.h> #include <ctype.h> #include <stdlib.h> #include <assert.h> #include <string.h> #include <iostream> #include <vector> #include <string> using namespace std; //枚举状态 enum STATUS { INIT = 1, //初始状态 IDENTIFIER, //标识符状态, 小写字母开头 + 后序小写字母||下划线 INTEGER, //整数状态 FLOAT, //实数状态 ERROR //错误状态, 词法错误 }; //Token：表示的是词法记号 struct Token { string text; STATUS status; }; vector<std::shared_ptr<Token>> tokens;//保存所有的词法记号
InitToken: 创建Token, 按照单词的首字母，确定单词的Type类型（STATUS状态）
//根据词法记号首个字符来初始化Token Token* InitToken(char ch) { Token* token = new Token; assert(token != NULL); if ((isalpha(ch) && islower(ch)) || ch == '_') {//是小写字母开头||下划线 token->status = IDENTIFIER; } else if (isdigit(ch) && ch != '0') { token->status = INTEGER; } else if (ch == '.') { token->status = FLOAT; } else { token->status = ERROR; } token->text = "";//初始化为空字符串 token->text += ch;//加上初始字符串 }
然后就是Parse函数了, 用于解析字符串，初始化以及提取Token操作，时间紧张，没有做内存管理, 有心之人可以对内存资源加上智能指针, 培养习惯
首先: 提取每一个单词过程中，遇到空格, 表示这个单词提取完成，应该接着提取下一个单词, 所以修改一下当前状态status为INIT状态. 让其自动转换为INIT来完成新的Token的创建. 进入下一个新的单词的解析. 自动进入，核心关键在于自动进入。我们只是需要修改当前的status状态就能自动进入新的下一个单词状态的处理，所以这个玩也也叫做自动机。
在计算机网络的协议封装中，也存在这样类似的状态机。自动的进行状态转移. 连接建立状态, 数据交互状态，连接断开状态. 所以对于这个自动机（状态机的深入理解）是有一定必要的，所以我才写了这篇博客
void Parse(const string& s) { int i = 0; char ch = s[i]; STATUS status = INIT;//枚举当前状态 Token* token = nullptr;//记录token while (ch) { switch(status) { case INIT: {//初始化状态, 创建ch即可 while (isspace(ch)) { ch = s[++i];//跳过多余的空格 } token = InitToken(ch); status = token->status;//更新status ch = s[++i];//更新ch } break; case IDENTIFIER: { if ((isalpha(ch)&&islower(ch)) || (ch == '_') || isdigit(ch)) { token->text += ch; ch = s[++i]; } else { if (ch == ' ') { status = INIT;//是新的单词 tokens.push_back(shared_ptr<Token>(token)); } else {//词法错误 token->status = ERROR; token->text += ch; ch = s[++i]; } } } break; case INTEGER: { if (isdigit(ch)) { token->text += ch; ch = s[++i];//更新ch } else {//结束或者跳跃到实数 if (ch == '.') { token->status = FLOAT; token->text += ch; ch = s[++i];//更新ch } else if (ch == ' ') {//是新的单词 status = INIT; tokens.push_back(shared_ptr<Token>(token)); } else {//词法错误 token->status = ERROR; token->text += ch; ch = s[++i]; } } } break; case FLOAT: { if (isdigit(ch) && ch != '0') { token->text += ch; ch = s[++i]; } else if (ch == ' ') {//是新的单词 status = INIT; tokens.push_back(shared_ptr<Token>(token)); } else {//词法错误 token->status = ERROR; token->text += ch; ch = s[++i]; } } break; case ERROR: { if (ch == ' ') {//是新的单词 status = INIT; tokens.push_back(shared_ptr<Token>(token)); } else { token->text += ch; ch = s[++i]; } } break; } } if (token != nullptr) tokens.push_back(shared_ptr<Token>(token)); }
感谢兄弟们的阅读，要是对某些开设这门课的兄弟有所帮助。 希望来电收藏点赞，以资鼓励小杰创作，蟹蟹
