探究C/C++编码世界：从字符编码到中文处理之艺（二）-阿里云开发者社区

探究C/C++编码世界：从字符编码到中文处理之艺（一）https://developer.aliyun.com/article/1464330

三、(3) 中文编码方式与实践

a. GB2312、GBK与GB18030

为了在计算机中表示汉字，中华人民共和国国家标准制定了GB（Guojia Biaozhun，国家标准）系列编码，包括 GB2312、GBK和GB18030。

GB2312：简化中文编码，包含了6763个汉字，涵盖日常生活和科技应用的需求。GB2312字符占用两个字节，高字节在0xA1-0xF7范围内，低字节在0xA1-0xFE范围内。
GBK：向GB2312添加字符，原有GB2312保持不变。GBK包含了近21000个汉字，部分繁体字符以及日文假名。GBK字符占用一个或两个字节，单字节字符范围为0x00-0x7F，双字节字符高位在0x81-0xFE，低位在0x40-0x7E和0x80-0xFE。
GB18030：当前的国家标准，支持所有Unicode字符。GB18030编码字符使用1、2、4个字节表示，1字节字符和GBK相同，4字节字符集中在0x81-0xFE的高位字节区间。

以下是一个使用GB2312和GBK编码的简单示例：

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>
int main() {
    std::string gb2312_str = "\xB3\xC9\xB9\xA6\xA3\xA8\xD6\xD0\xCE\xC4\xB1\xEA\xD7\xBC\xA3\xA9";
    std::string gbk_str = "\xBC\xA4\xD3\xEB\xC9\xE7\xBB\xE1";
    
    std::locale::global(std::locale(""));
    std::wstring_convert<std::codecvt_byname<wchar_t, char, std::mbstate_t>> gb2312_conv(new std::codecvt_byname<wchar_t, char, std::mbstate_t>("zh_CN.gb2312"));
    std::wstring_convert<std::codecvt_byname<wchar_t, char, std::mbstate_t>> gbk_conv(new std::codecvt_byname<wchar_t, char, std::mbstate_t>("zh_CN.gbk"));
    std::wstring wstr_gb2312 = gb2312_conv.from_bytes(gb2312_str);
    std::wstring wstr_gbk = gbk_conv.from_bytes(gbk_str);
    std::wcout << L"GB2312: " << wstr_gb2312 << std::endl;
    std::wcout << L"GBK: " << wstr_gbk << std::endl;
    return 0;
}

了解中文编码方式有助于编写支持中文的跨平台程序。在后续章节中，我们将探讨UTF-8编码与中文处理技巧。

b. UTF-8中文处理技巧

UTF-8编码是Unicode编码的一种实现方式，逐渐成为国际通用编码。UTF-8对于英文使用1个字节表示，而对于中文使用3个字节表示。这种编码方式使得不同语言在同一文件或程序中共存和处理变得容易。

为了处理UTF-8编码的中文字符串，可以采用以下技巧：

利用C++11及更高版本提供的Unicode字符串字面量，

std::string utf8_str = u8"你好，世界！";

使用库进行编码转换，例如将宽字符字符串转换为UTF-8编码的字符串（注意在C++17中已标记为弃用，但仍可用于跨平台开发）。
使用第三方库如Boost.Locale进行编码转换和处理。
注意字符串操作时的编码问题。例如，当计算字符串长度或截取子串时，要确保操作不会导致多字节字符被错误地分割。

以下是一个处理UTF-8编码中文字符串的示例：

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>
int main() {
    std::string utf8_str = u8"你好，世界！";
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> conv;
    std::u32string utf32_str = conv.from_bytes(utf8_str);
    std::locale::global(std::locale(""));
    
    std::wcout << L"UTF-8 string length: " << utf32_str.size() << std::endl;
    std::wcout << L"First 2 characters: "
              << (wchar_t)utf32_str[0] << (wchar_t)utf32_str[1] << std::endl;
    return 0;
}

通过掌握这些中文处理技巧，我们可以确保在编写跨平台程序时，顺利处理UTF-8编码的中文字符串。

c. 基于C/C++库的中文文本处理方法

对于不同编码格式的中文文本处理，C++提供了许多基于标准库或第三方库的方法。以下提供了一些常用的中文文本处理方法：

将文本转换为Unicode编码格式，如UTF-8、UTF-16和UTF-32。使用库或第三方库（如Boost.Locale）可进行字符编码的相互转换。
使用文件流时，为了正确读写中文内容，应采用二进制模式打开文件，并确保使用正确的字符编码。例如，将宽字符转换为相应的编码格式后，再使用ofstream写入文件。
对于分词、提取关键字、检索等需求，可以利用C++中的正则表达式库进行文本分析。对于较为复杂的中文分词需求，可以考虑使用专用的中文分词库（如jieba-cpp）。
当进行字符串操作（比如截取子串、计算长度等）时，务必避免在一个多字节字符内错误地进行截断。
使用库定义区域设置，可以在一定程度上实现对中文环境的适应。

以下是一个使用正则表达式处理中文字符串的示例：

#include <iostream>
#include <string>
#include <regex>
int main() {
    std::locale::global(std::locale(""));
    std::string text = u8"最近，中文正则表达式处理成为了热门话题。";
    std::regex re(u8"[\u4E00-\u9FA5]+");
    std::sregex_iterator iter(text.begin(), text.end(), re);
    std::sregex_iterator end;
    while (iter != end) {
        std::cout << iter->str() << std::endl;
        ++iter;
    }
    return 0;
}

综合使用以上提到的方法，可以应对各种复杂场景下的C++中文处理需求。掌握这些方法可以为跨平台程序的编写提供支持。

四、(4) C/C++高级应用

a. 文件读写与编码处理

在计算机世界中，文件是一个重要的概念。常见任务包括读取和写入文本或二进制文件。C++提供了各种库函数和对象进行文件处理和实现编码转换。本章节将深入探讨如何在C++中处理文件读写和编码转换。

(i) C++文件操作基础

C++为文件操作提供了两个主要的库，分别是（C风格的文件操作）和（C++风格的文件操作）。这里，我们将主要关注C++风格的文件操作。在C++中，我们通过三个基本类来处理文件操作：ifstream（输入文件流，用于读取文件）、ofstream（输出文件流，用于写入文件）和fstream（文件流，用于同时读写文件）。为了使用文件流类，我们需要包含头文件。

例子：读取文本文件

#include <iostream>
#include <fstream>
#include <string>
int main() {
    std::ifstream inputFile("example.txt"); // 打开文件
    
    if (!inputFile.is_open()) {
        std::cerr << "Error opening file." << std::endl;
        return 1;
    }
    
    std::string line;
    while (std::getline(inputFile, line)) {
        std::cout << line << std::endl;
    }
    
    inputFile.close(); // 关闭文件
    return 0;
}

例子：写入文本文件

#include <iostream>
#include <fstream>
#include <string>
int main() {
    std::ofstream outputFile("output.txt"); // 创建或打开文件以写入
    
    if (!outputFile.is_open()) {
        std::cerr << "Error opening file." << std::endl;
    }

b. 网络通信中的字符编码处理

网络通信是现代互联网应用中不可或缺的一部分。在数据传输过程中，字符编码对于确保信息准确无误地传输至接收方至关重要。本小节将详细讨论如何在网络通信中处理字符编码。

(i) 应用层协议与字符编码

在应用层协议（如HTTP、SMTP等）中，消息文本通常需要遵循请求/响应头部中指定的字符编码，例如Content-Type。一种常见的实践是使用UTF-8编码，因为它可以表示各种字符集，包括ASCII字符和多字节字符（如中文）。

(ii) Socket编程中的编码处理

在Socket编程中，网络数据传输通常采用字节流(byte)或字符数组(char[])的形式。为了确保正确处理字符编码，可以将字符串转换为适当格式的字节流，然后在接收方解码字节流。

以下代码示例展示了如何在C++中使用库实现UTF-8编码转换。

客户端

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>
// 包含其他需要的头文件，如<sys/socket.h>
int main() {
    std::string message = "你好，世界！";
    std::wstring_convert<std::codecvt_utf8<wchar_t>> converter;
    std::wstring wideMessage = converter.from_bytes(message);
    std::string utf8Message(wideMessage.begin(), wideMessage.end());
    // 将utf8Message发送到服务器端...
}

服务器端

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>
// 包含其他需要的头文件，如<sys/socket.h>
int main() {
    // 从客户端接收utf8Message...
    std::string utf8Message; // 假设从客户端接收的UTF-8编码数据
    std::wstring_convert<std::codecvt_utf8<wchar_t>> converter;
    std::wstring wideMessage = converter.to_bytes(utf8Message);
    std::string originalMessage(wideMessage.begin(), wideMessage.end());
    std::cout << "Received message: " << originalMessage << std::endl;
}

在这个示例中，wstring_convert与codecvt_utf8用来在原始字符串与UTF-8编码之间进行转换。而wchar_t类型是宽字符类型，能够表示多字节编码。

通过这种方法，我们可以确保在网络通信中传输的字符串始终保持正确的字符编码，确保接收方能够准确解码并读取传输的数据。

探究C/C++编码世界：从字符编码到中文处理之艺（三）https://developer.aliyun.com/article/1464332

探究C/C++编码世界：从字符编码到中文处理之艺（二）