在 C++ 中标记字符串

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。

标记字符串表示根据某些分隔符拆分字符串。有很多方法可以对字符串进行标记。在这篇文章中解释了其中的四个：

使用字符串流

一个字符串流与允许你从字符串，就好像它是一个流中读取流的字符串对象关联。
下面是 C++ 实现：

#include <bits/stdc++.h>
using namespace std;
int main()
{
	string line = "juejin is a must try";
	vector <string> tokens;
	stringstream check1(line);
	string intermediate;
	while(getline(check1, intermediate, ' '))
	{
		tokens.push_back(intermediate);
	}
	for(int i = 0; i < tokens.size(); i++)
		cout << tokens[i] << '\n';
}

输出

juejin
is 
a 
must 
try

使用strtok()

// 根据给定的分隔符拆分 str[]。 并返回下一个令牌。 
// 它需要在循环中调用以获取所有令牌。 当没有更多令牌时，它返回 NULL。
char * strtok(c​​har str[], const char *delims); 

下面是 C++ 实现：

// 使用 strtok() 分割字符串的 C/C++ 程序
#include <stdio.h>
#include <string.h>
int main()
{
	char str[] = "juejin-for-juejin";
	char *token = strtok(str, "-");
	while (token != NULL)
	{
		printf("%s\n", token);
		token = strtok(NULL, "-");
	}

	return 0;
}

输出

juejin
for
juejin

strtok() 的另一个例子：

#include <string.h>
#include <stdio.h>
int main()
{
	char gfg[100] = "juejin - for - juejin - Contribute";
	const char s[4] = "-";
	char* tok;
	tok = strtok(gfg, s);
	while (tok != 0) {
		printf(" %s\n", tok);
		tok = strtok(0, s);
	}
	return (0);
}

输出

juejin 
for 
juejin 
Contribute

使用strtok_r()

就像 C 中的 strtok() 函数一样，strtok_r() 执行相同的任务，将字符串解析为标记序列。strtok_r() 是 strtok() 的可重入版本。
我们可以通过两种方式调用 strtok_r()

// 第三个参数 saveptr 是一个指向 char * 变量的指针，strtok_r() 在内部使用该变量，
// 以便在解析相同字符串的连续调用之间维护上下文。
char *strtok_r(char *str, const char *delim, char **saveptr); 

下面是一个简单的 C++ 程序来展示 strtok_r() 的使用：

#include<stdio.h>
#include<string.h>

int main()
{
	char str[] = "juejin for juejin";
	char *token;
	char *rest = str;

	while ((token = strtok_r(rest, " ", &rest)))
		printf("%s\n", token);

	return(0);
}

输出

juejin 
for 
juejin

使用 std::sregex_token_iterator

在这种方法中，标记化是在正则表达式匹配的基础上完成的。更适合需要多个分隔符的用例。

下面是一个简单的 C++ 程序来展示 std::sregex_token_iterator 的使用：

#include <iostream>
#include <regex>
#include <string>
#include <vector>

std::vector<std::string> tokenize(
					const std::string str,
						const std::regex re)
{
	std::sregex_token_iterator it{ str.begin(),
							str.end(), re, -1 };
	std::vector<std::string> tokenized{ it, {} };
	tokenized.erase(
		std::remove_if(tokenized.begin(),
							tokenized.end(),
					[](std::string const& s) {
						return s.size() == 0;
					}),
		tokenized.end());

	return tokenized;
}

int main()
{
	const std::string str = "Break string
				a,spaces,and,commas";
	const std::regex re(R"([\s|,]+)");
	const std::vector<std::string> tokenized =
						tokenize(str, re);
	
	for (std::string token : tokenized)
		std::cout << token << std::endl;
	return 0;
}

输出

Break
string
a
spaces
and
commas