带你读《全景揭秘字符编码》之九:九、常见字符编码3:GB系列(6)

简介: 带你读《全景揭秘字符编码》之九:九、常见字符编码3:GB系列(6)

带你读《全景揭秘字符编码》之九:九、常见字符编码3:GB系列(5) https://developer.aliyun.com/article/1240898?groupCode=tech_library


9.4、GB18030


随着计算机的发展,GBK的2万多个字符也还是扛不住。


于是2000年我国又制定了新标准 GB18030,用来替代 GBK 标准。GB18030是强制性标准,现在在中国大陆销售的软件都支持 GB18030。


GB18030其实是对齐Unicode标准的,里面包括了所有Unicode字符集,也算是Unicode的一种实现(UTF)。


那既然有了UTF我们为什么还要搞一套Unicode实现?


主要是UTF-8/UCS-2他们是不兼容GB2312的,如果直接升级那么就全乱码了,所以GB18030是为了兼容GB系列,是GBK、GB2312的超集,当我们原先的GB2312(GBK)软件考虑升级到国际化Unicode时,可以直接使用GB18030进行升级。


GB18030虽然也是GB2312的扩展,但它和GBK的扩展方式不一样,GBK主要是充分利用了GB2312的一些没定义的编码空间,而GB18030采用的是字节变长编码,单字节区兼容ASCII、双字节区兼容GBK、四字节区对齐所有Unicode 码位。


实现原理上主要是采用第二字节未使用到的0x30~0x39编码空间来判断是否四字节。



具体就是:

  • 1)单字节,其值从0到0x7F。
  • 2) 双字节,第一个字节的值从0x81到0xFE,第二个字节的值从0x40到0xFE(不包括0x7F)。
  • 3)四字节,第一个字节的值从0x81到0xFE,第二个字节的值从0x30到0x39,第三个字节的值从0x81到0xFE,第四个字节的值从0x30到0x39。
相关文章
|
测试技术 语音技术 开发者
FunASR英文离线文件转写软件包问题之推理加速如何解决
FunASR英文离线文件转写软件包问题之推理加速如何解决
393 0
|
SQL 分布式计算 调度
深入剖析 HIVE 的锁和事务机制
深入剖析 HIVE 的锁和事务机制
|
4月前
|
测试技术 API 数据库
从单体到微服务:零中断增量重构的核心方法论与全链路实战
本文系统阐述单体架构向微服务演进的增量重构方法论:以绞杀者模式为路径、DDD限界上下文为拆分依据、防腐层为协同保障,通过7步闭环流程实现业务零中断的平滑演进,规避“重构地狱”与“分布式单体”两大陷阱。
412 5
|
安全 Shell 网络安全
【服务器】Xshell与Xftp软件的使用指南
【服务器】Xshell与Xftp软件的使用指南
1800 0
|
7月前
|
JSON API PHP
随机英文姓名生成API接口详细教程:免费、简单、高效
本文介绍“接口盒子”提供的免费随机英文姓名API,支持按性别生成、返回完整姓名及姓、名分离,适用于开发测试、用户模拟等场景。提供PHP/Python调用示例,助力高效集成。
543 6
|
9月前
|
机器学习/深度学习 文字识别 Shell
高效率办公PDF批量处理:批量OCR识别PDF区域文字内容,用PDF内容批量改名或导出表格的货物运单应用案例
针对铁路货运物流单存档需求,本项目基于WPF与飞桨OCR技术,实现批量图片多区域文字识别与自动重命名。用户可自定义识别区域,系统提取关键信息(如车号、批次号)并生成规范文件名,提升档案管理效率与检索准确性,支持PDF及图像文件处理。
1274 48
|
缓存 安全 网络安全
解锁网站速度与安全:CDN 使用指南及免费平台推荐
在互联网时代,网站的速度和安全性至关重要。CDN(内容分发网络)通过全球缓存节点提升访问速度、降低延迟,并提供安全防护。本文详解CDN的作用与适用场景,推荐几款免费CDN平台,如阿里云、鸟盾安全CDN等,助您选择合适的CDN服务,保障网站性能与安全。
1811 94
|
存储 安全 Ubuntu
CentOS 与 Debian:主要相似点和不同点
【8月更文挑战第27天】
1623 2
CentOS 与 Debian:主要相似点和不同点
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
2022 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
人工智能 自然语言处理 算法
深度:DeepSeek会取代文学创作吗?
本文探讨了DeepSeek等人工智能工具对文学创作的影响。尽管AI在文本生成方面展现出惊人能力,但它难以取代文学创作的核心要素,如情感、创造性和复杂叙事能力。文章指出,AI既是挑战也是机遇,文学创作者可借助GAI认证等手段提升技能,与AI协作,构建新的文学生态,在AI时代实现自我突破与发展。