带你读《全景揭秘字符编码》之十:常见字符编码4:UNICODE(8)

简介: 带你读《全景揭秘字符编码》之十:常见字符编码4:UNICODE(8)

带你读《全景揭秘字符编码》之十:常见字符编码4:UNICODE(7) https://developer.aliyun.com/article/1240880?groupCode=tech_library


10.5、UTF-8


10.5.1概述


Unicode还是UCS最初都是采用多字节定长编码,由于没有兼容现有的 ASCII 标准的文件和软件,新标准很难被推广,于是兼容ASCII版本的UTF-8就诞生了。


UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,是现代字符编码模型中的第三层 CEF 。它可以用一至四个字节对 Unicode 字符集中的所有有效编码点进行编码,属于Unicode标准的一部分,UTF-8 就是为了解决向后兼容 ASCII 码而设计,Unicode 中前 128 个字符(与 ASCII 码一一对应),使用与 ASCII 码相同的二进制值的单个字节进行编码,这使得原来处理 ASCII 字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字优先采用的编码方式。

—— 维基百科


UTF-8需要兼容ASCII,所以也需要有前缀码来控制,前缀规则如下:

  • 1)如果首字节以 0 开头,则是单字节编码(即单个单字节码元);
  • 2)如果首字节以 110 开头,则是双字节编码(即由两个单字节码元所组成的双码元序列);
  • 3)如果首字节以 1110 开头,则是三字节编码(即由三个单字节码元所组成的三码元序列),以此类推。


理论上UTF-8变长可以超过4个字节,只是Unicode联盟规范上限是10FFFF,所以UTF-8规则设计上也限制了大小。



带你读《全景揭秘字符编码》之十:常见字符编码4:UNICODE(9) https://developer.aliyun.com/article/1240878?groupCode=tech_library

相关文章
|
移动开发 小程序 IDE
《钉钉应用开发者速成手册》之“开放平台介绍”
什么是钉钉开放平台? 钉钉开放平台是基于钉钉的基础产品和底座,为生态合作伙伴、企业客户及开发者提供所需要的开放能力的应用开发平台。通过钉钉开放平台可以帮助企业快速、低成本的实现高质量的移动微应用,实现生产、管理、协作、运营的业务在线化。
2741 1
《钉钉应用开发者速成手册》之“开放平台介绍”
|
4月前
|
存储 运维 安全
《OpenClaw端口通信失效全解:监听修改与防火墙规则落地指南》
本文针对OpenClaw启动后默认端口无法访问、系统提示连接被拒绝的高频运维问题,结合真实落地实操经验展开全流程解析。文章从端口占用进程深度溯源入手,区分不同占用主体的处理方式,再详细讲解配置文件中监听端口的规范修改与安全备份方法,同时涵盖框架平滑重启、端口绑定状态核验、防火墙策略添加与规则重载等核心步骤,最终通过多场景连通性测试完成问题闭环。全文摒弃零散操作,侧重环境动态适配与底层逻辑梳理,帮助从业者建立系统化端口运维思维,从根源解决端口冲突、策略拦截等故障,实现框架长期稳定对外提供服务。
420 10
|
4月前
|
Linux API 数据安全/隐私保护
OpenClaw从零到精通:阿里云轻量服务器部署、本地安装、Skills集成全流程(新手友好)
OpenClaw(曾用名Clawdbot、Moltbot)是一款开源的本地优先AI智能体引擎,核心价值在于将大模型的自然语言理解能力转化为实际操作能力,相当于一个7×24小时在线的“数字员工”。与传统聊天AI不同,它不仅能生成文本回复,还能直接操作文件、执行代码、调度系统、抓取网页数据、处理办公任务,并且支持通过安装Skills(技能插件)扩展功能,像装App一样丰富自身能力,无需修改底层代码。
482 3
|
安全 数据处理 开发者
R语言面向对象编程:理解R中的S3与S4类
【8月更文挑战第28天】R语言中的S3和S4类为面向对象编程提供了不同的选择。在实际应用中,开发者可以根据具体需求选择合适的类系统。对于简单的数据处理和分析任务,S3类以其简单性和灵活性可能是一个更好的选择;而对于需要更严格和复杂对象模型的任务,S4类则更具优势。掌握这两种类系统,将有助于你在R语言中更加高效和灵活地构建复杂的数据处理和分析应用。
|
数据采集 自然语言处理 文字识别
淘宝视频内容标签的结构化分析和管理
淘宝视频是如何分类的?又是如何保持不同类别视频样本得到相对均衡?又是如何应用的?
淘宝视频内容标签的结构化分析和管理
|
安全 网络安全 网络虚拟化
Cisco-三层交换机实现VLAN间路由
Cisco-三层交换机实现VLAN间路由
600 0
|
存储 算法 安全
数据仓库与数据挖掘概述
数据仓库与数据挖掘概述
|
PyTorch 算法框架/工具
ModelScope是一个基于PyTorch的模型管理平台
ModelScope是一个基于PyTorch的模型管理平台
766 3
|
设计模式
二十三种设计模式全面解析-职责链模式(Chain of Responsibility Pattern):解放代码责任链,提升灵活性与可维护性
二十三种设计模式全面解析-职责链模式(Chain of Responsibility Pattern):解放代码责任链,提升灵活性与可维护性
484 0