小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。
标记字符串表示根据某些分隔符拆分字符串。有很多方法可以对字符串进行标记。在这篇文章中解释了其中的四个：
使用字符串流
一个字符串流与允许你从字符串，就好像它是一个流中读取流的字符串对象关联。
下面是 C++ 实现：
#include <bits/stdc++.h> using namespace std; int main() { string line = "juejin is a must try"; vector <string> tokens; stringstream check1(line); string intermediate; while(getline(check1, intermediate, ' ')) { tokens.push_back(intermediate); } for(int i = 0; i < tokens.size(); i++) cout << tokens[i] << '\n'; } 复制代码
输出
juejin is a must try 复制代码
使用strtok()
// 根据给定的分隔符拆分 str[]。 并返回下一个令牌。 // 它需要在循环中调用以获取所有令牌。 当没有更多令牌时，它返回 NULL。 char * strtok(char str[], const char *delims); 复制代码
下面是 C++ 实现：
// 使用 strtok() 分割字符串的 C/C++ 程序 #include <stdio.h> #include <string.h> int main() { char str[] = "juejin-for-juejin"; char *token = strtok(str, "-"); while (token != NULL) { printf("%s\n", token); token = strtok(NULL, "-"); } return 0; } 复制代码
输出
juejin for juejin 复制代码
strtok() 的另一个例子：
#include <string.h> #include <stdio.h> int main() { char gfg[100] = "juejin - for - juejin - Contribute"; const char s[4] = "-"; char* tok; tok = strtok(gfg, s); while (tok != 0) { printf(" %s\n", tok); tok = strtok(0, s); } return (0); } 复制代码
输出
juejin for juejin Contribute 复制代码
使用strtok_r()
就像 C 中的 strtok() 函数一样，strtok_r() 执行相同的任务，将字符串解析为标记序列。strtok_r() 是 strtok() 的可重入版本。
我们可以通过两种方式调用 strtok_r()
// 第三个参数 saveptr 是一个指向 char * 变量的指针，strtok_r() 在内部使用该变量， // 以便在解析相同字符串的连续调用之间维护上下文。 char *strtok_r(char *str, const char *delim, char **saveptr); 复制代码
下面是一个简单的 C++ 程序来展示 strtok_r() 的使用：
#include<stdio.h> #include<string.h> int main() { char str[] = "juejin for juejin"; char *token; char *rest = str; while ((token = strtok_r(rest, " ", &rest))) printf("%s\n", token); return(0); } 复制代码
输出
juejin for juejin 复制代码
使用 std::sregex_token_iterator
在这种方法中，标记化是在正则表达式匹配的基础上完成的。更适合需要多个分隔符的用例。
下面是一个简单的 C++ 程序来展示 std::sregex_token_iterator 的使用：
#include <iostream> #include <regex> #include <string> #include <vector> std::vector<std::string> tokenize( const std::string str, const std::regex re) { std::sregex_token_iterator it{ str.begin(), str.end(), re, -1 }; std::vector<std::string> tokenized{ it, {} }; tokenized.erase( std::remove_if(tokenized.begin(), tokenized.end(), [](std::string const& s) { return s.size() == 0; }), tokenized.end()); return tokenized; } int main() { const std::string str = "Break string a,spaces,and,commas"; const std::regex re(R"([\s|,]+)"); const std::vector<std::string> tokenized = tokenize(str, re); for (std::string token : tokenized) std::cout << token << std::endl; return 0; } 复制代码
输出
Break string a spaces and commas
