一、(1) C/C++编码基础
a. 计算机编码原理
计算机中的所有信息都是以二进制形式存储和处理的。最基本的存储单位是位（bit），它只有两种状态：0和1。为了在计算机中表示字符，我们需要为每个字符分配一个唯一的二进制编码。字符编码就是将字符与二进制数之间建立对应关系的过程。
最早的计算机通常采用8位（一个字节）存储一个字符，这意味着可以表示最多256个字符。然而，随着计算机应用领域的扩大和多语言环境的发展，256个字符显然不能满足需求。因此，多种字符编码方案应运而生，如Unicode等。
#include <iostream> int main() { char c = 'A'; int i = static_cast<int>(c); // 将字符'A'转换为对应的ASCII编码 std::cout << "Character: " << c << ", ASCII code: " << i << std::endl; return 0; }
在编写程序时，了解编码原理有助于处理字符串、字符数组等文本数据。同时，需要考虑到在不同计算机系统或者传输环境下，编码可能发生变化，从而导致数据解析错误。因此，编写健壮性强、跨平台兼容的代码是每位程序员的基本素质。
b. ASCII编码与扩展
ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是一种基于英文字母的计算机编码系统，它使用7位二进制数来表示128个不同的字符。包括控制字符（如换行符、制表符）和可打印字符（如字母、数字、标点符号）。其中，可打印字符的ASCII码是从32（空格）到126（波浪号）。
#include <iostream> int main() { for (int i = 32; i <= 126; ++i) { char c = static_cast<char>(i); std::cout << "ASCII code: " << i << ", Character: '" << c << "'" << std::endl; } return 0; }
随着计算机技术的发展，ASCII编码无法满足其他语言如希腊文、俄文、中文等的需求。因此，出现了一系列基于ASCII编码的扩展，称为“扩展ASCII码”，它们通常具有8位编码，允许表示256个字符。一些知名的ASCII扩展包括ISO-8859-1（用于西欧语言）、ISO-8859-5（用于西里尔文）以及Windows-1252（用于西欧语言和部分特殊字符）。
尽管扩展ASCII码在一定程度上解决了字符表示的限制，但它们仍然不能满足全球所有语言的需求。因此，出现了统一编码方式，如Unicode，它可以表示世界上所有的字符。在接下来的章节中，我们将更深入地探讨Unicode编码方案。
c. Unicode编码及其应用
Unicode（Universal Code，统一码）是一种包括世界上所有字符、符号的编码方案。Unicode提供了一个唯一的数字（码点）来表示每个字符，从而解决了多种编码系统带来的互操作性问题。在Unicode标准中，码点按照平面（Plane）和区块（Block）进行划分，每个平面包含65536个码点，而区块分布在各个平面中。当前共有17个平面，从Plane 0（基本多文种平面，BMP）到Plane 16（补充特殊用途平面，SMP）。众多字符被分配在这些平面的不同区块中。
Unicode有多种编码方式，如UTF-8、UTF-16和UTF-32。以下是一个简单的例子，演示如何在C++中使用Unicode字符：
#include <iostream> int main() { // 使用Unicode字符字面量 wchar_t wch = L'你'; std::wstring wstr = L"你好，世界！"; // 输出Unicode字符：需要适当配置环境 std::wcout.imbue(std::locale("")); // 设置环境区域 std::wcout << L"Unicode character: " << wch << std::endl; std::wcout << L"Unicode string: " << wstr << std::endl; return 0; }
运用Unicode编码，我们可以跨越平台、地区和语言地处理文本信息。在后续的高级应用章节中，我们将介绍利用C/C++库进行Unicode编码字符操作和转换的方法。
二、(2) 字符编码与C/C++操作
a. 字符串处理函数
C++提供了一系列字符串处理函数，从而方便我们处理不同编码的字符串。以下是一些在C++中常用的字符串处理函数：
strlen：计算字符串长度strcpy：复制字符串strcat：连接字符串strcmp：比较字符串strstr：查找子字符串sprintf：格式化字符串输出
使用这些函数时，需要注意字符编码、空间分配和边界检查，以避免潜在问题。以下是一个简单的字符串操作示例：
#include <iostream> #include <cstring> int main() { const char *str1 = "Hello"; const char *str2 = "World"; char buffer[20]; // 复制字符串 strcpy(buffer, str1); std::cout << "Copied string: " << buffer << std::endl; // 连接字符串 strcat(buffer, " "); strcat(buffer, str2); std::cout << "Concatenated string: " << buffer << std::endl; // 比较字符串 int cmp_result = strcmp(str1, str2); if (cmp_result < 0) { std::cout << "str1 < str2" << std::endl; } else if (cmp_result > 0) { std::cout << "str1 > str2" << std::endl; } else { std::cout << "str1 == str2" << std::endl; } return 0; }
在本章节的后面，我们将介绍宽字符、多字节字符和字符编码转换的方法，以便更好地处理包括中文在内的各种字符编码。
b. 宽字符与多字节字符
在C++中，为了表示更多的字符集和编码，引入了宽字符（wchar_t）和多字节字符来处理不同编码的字符串。宽字符和多字节字符与常规字符差异主要在于占用的内存空间和所表示的字符范围。对于宽字符，C++提供一组通用的宽字符操作函数，如wcslen、wcscpy、wcscmp等。这些函数的使用方法与普通字符串处理函数类似，只是操作的对象是宽字符类型的字符串。
下面是一个使用宽字符操作函数的示例：
#include <iostream> #include <cwchar> #include <locale> int main() { std::locale::global(std::locale("")); // 设置全局区域 const wchar_t* wstr1 = L"你好"; const wchar_t* wstr2 = L"世界"; wchar_t wbuffer[20]; // 宽字符字符串复制 wcscpy(wbuffer, wstr1); std::wcout << L"Copied wide string: " << wbuffer << std::endl; // 宽字符字符串连接 wcscat(wbuffer, L" "); wcscat(wbuffer, wstr2); std::wcout << L"Concatenated wide string: " << wbuffer << std::endl; // 宽字符字符串比较 int wcmp_result = wcscmp(wstr1, wstr2); if (wcmp_result < 0) { std::wcout << L"wstr1 < wstr2" << std::endl; } else if (wcmp_result > 0) { std::wcout << L"wstr1 > wstr2" << std::endl; } else { std::wcout << L"wstr1 == wstr2" << std::endl; } return 0; }
多字节字符可以用一个或多个字节来表示一个字符。例如，在UTF-8编码中，一个英文字符占用1个字节，一个常见汉字占用3个字节。C++中提供了mbs函数系列来处理多字节字符串，例如mbstowcs和wcstombs函数可以进行多字节字符与宽字符之间的转换。
了解宽字符和多字节字符的处理方法对于用C++编写跨平台、多语言的程序至关重要。在本章节的下一部分，我们将介绍字符编码转换的实现方法。
c. 字符编码转换方法
在处理字符串时，我们可能需要在不同的字符编码间进行转换。C++中提供了一些方法，使得这些转换变得简单高效。
- C++17中的
codecvt类
codecvt是一个C++17中的模板类，可用于进行字符编码转换。该类包括codecvt_utf8、codecvt_utf16和codecvt_utf8_utf16等具体实现，支持将字符串在多种编码格式之间相互转换。以下是一个使用codecvt_utf8转换宽字符字符串到UTF-8多字节字符串的示例：
#include <iostream> #include <string> #include <codecvt> #include <locale> #include <iomanip> int main() { std::wstring wstr = L"你好，世界！"; std::wstring_convert<std::codecvt_utf8<wchar_t>> conv; std::string utf8str = conv.to_bytes(wstr); std::cout << "UTF-8 string: "; for (const auto &c : utf8str) { std::cout << std::hex << std::setw(2) << std::setfill('0') << static_cast<int>(static_cast<unsigned char>(c)) << " "; } std::cout << std::endl; return 0; }
需要注意的是，在C++17中，头文件中的codecvt类被标记为已弃用。不过，在编写跨平台程序时依然可以使用它，在许多标准库实现中仍可找到对应功能。
- 使用第三方库
除了标准库提供的转换方法外，我们还可以利用第三方库实现字符编码转换。某些专用的字符编码转换库（如iconv）或者一些通用库（如Boost.Locale）提供了强大的编码转换功能。
下面是一个使用Boost.Locale库进行编码转换的示例：
#include <iostream> #include <string> #include <boost/locale.hpp> #include <iomanip> int main() { std::wstring wstr = L"你好，世界！"; std::string utf8str = boost::locale::conv::utf_to_utf<char>(wstr); std::cout << "UTF-8 string: "; for (const auto &c : utf8str) { std::cout << std::hex << std::setw(2) << std::setfill('0') << static_cast<int>(static_cast<unsigned char>(c)) << " "; } std::cout << std::endl; return 0; }
理解和掌握字符编码转换方法对于编写跨平台、跨语言的程序具有重要意义。按需选择合适的转换方法可以提高程序的可维护性和可移植性。
探究C/C++编码世界：从字符编码到中文处理之艺（二）https://developer.aliyun.com/article/1464331
