重拾《 两周自制脚本语言 》- 支持中文标识符

简介: 为《 两周自制脚本语言 》添加中文标识符支持.

续前文将《 两周自制脚本语言 》测试中使用的接口中文化. 在将此脚本语言改为中文关键字之前, 需要先让它支持中文标识符.

首先添加一个词法分析器测试:

  @Test
  public void test读中文() throws 分析例外 {
    词法分析器类 词法分析器 = 词法分析功用.新建词法分析器("中文变量1名 = 中文ok值");
    词类 词1 = 词法分析器.读();
    词类 词2 = 词法分析器.读();
    词类 词3 = 词法分析器.读();

    词法分析功用.词为标识符("中文变量1名", 词1);
    词法分析功用.词为标识符("=", 词2);
    词法分析功用.词为标识符("中文ok值", 词3);
  }

预期的应该不能通过测试, 结果的确不成功, 但是"卡"住了而非报错. 调试后看到问题出在这段:

        int lineNo = reader.getLineNumber();
        Matcher matcher = pattern.matcher(line);
        matcher.useTransparentBounds(true).useAnchoringBounds(false);
        int pos = 0;
        int endPos = line.length();
        while (pos < endPos) {
            matcher.region(pos, endPos);
            if (matcher.lookingAt()) {
                addToken(lineNo, matcher);
                pos = matcher.end();
            }
            else
                throw new 分析例外("bad token at line " + lineNo);
        }

改为中文命名以更易于理解:

        int 行数 = reader.getLineNumber();
        Matcher 匹配器 = 模式.matcher(行);
        匹配器.useTransparentBounds(true).useAnchoringBounds(false);
        int 头 = 0;
        int 尾 = 行.length();
        while (头 < 尾) {
            匹配器.region(头, 尾);
            if (匹配器.lookingAt()) {
                添加词(行数, 匹配器);
                头 = 匹配器.end();
            }
            else
                throw new 分析例外("bad token at line " + 行数);
        }

看到进入死循环的直接原因是匹配器.lookingAt()虽然为true, 但始终为0. 更深原因可自行研究原正则表达式.

为了添加中文标识符支持, 需要使正则表达式能够匹配中文字符, 参考Detecting if NSString contains chinese characters

将原模式中的[A-Z_a-z][A-Z_a-z0-9]*改为[\\p{script=Han}A-Z_a-z][\\p{script=Han}A-Z_a-z0-9]*. 之后开头的词法分析器测试通过.

为检验更复杂一些的源码, 对第九章的原本测试用源码使用中文命名:

class 位置类 {
    经 = 纬 = 0
    def 到达 (经度, 纬度) {
        经 = 经度; 纬 = 纬度;
    }
}
位置 = 位置类.new
位置.到达(3, 4)
位置.经 = 10
和 = 位置.经 + 位置.纬

测试通过~ 源码提交在

2019-03-16

相关文章
|
分布式计算 API MaxCompute
钉钉的OA审批数据和Odps
钉钉的OA审批数据和Odps
281 2
|
前端开发 API JavaScript
React 官方发布性能分析插件Profiler
React 16.5 新增了对开发工具(DevTools)性能分析插件(profiler plugin)的支持。
2562 0
|
12天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1245 5
|
11天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1252 87
|
11天前
|
云栖大会
阿里云云栖大会2025年9月24日开启,免费申请大会门票,速度领取~
2025云栖大会将于9月24-26日举行,官网免费预约畅享票,审核后短信通知,持证件入场
1811 13
|
21天前
|
人工智能 运维 安全