Tensorflow——循环神经网络(五)subword文本分类

·  阅读 1145
Tensorflow——循环神经网络(五)subword文本分类

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第10天,点击查看活动详情


在上一篇文章中,我们介绍了LSTM模型,并且使用LSTM模型完成了文本分类和文本生成的实战。

今天我们将使用tensorflow_datasets中的imdb数据使用subword_level来进行文本分类的方法


  • 在这个实战中,我们使用的是imdb的数据集,在这个数据集中,我们是使用词为单位来表达所有的句子和语料,对词来做embedding,对embedding来输入我们的循环神经网络,去做文本分类。

  • 但是,在NLP领域,我们很多时候是不使用词为单位的,因为词为单位有两个缺点,

    • 一个是词的词表比较大,因而我们就需要一个比较大的词表,那么我们的model_size就会比较大;
    • 第二个原因就是,我的词表再大,它还是有一个上限的,而对于语言来说,它的词语会非常多,很多次都不在词表中,我遇到它就只能用UNK表示。
  • 那么怎么解决这个问题呢?

    • 一个方法就是使用char-level model, char-level就是字符级别的,对于英文来说就是a-z这26个字母加0-9这10个数字
    • 一种就是使用subword-level model,subword-level是介于char-level和word-level之间的一个level;例如:对于‘hello’就使用‘he’、‘ll’、‘o'三个subword-level来表示

接下来,我们就来看一个如何使用subword-level来训练一个文本分类模型。

  • 5.1 我们先介绍一个新的库:Tensorflow_datasets在这个库中,tensorflow是帮我们定义好了许许多多的公开的数据集,这些数据集都是以dataset的格式去存储的,可以通过一个string字符串去载入进来

  • 5.1.1 载入数据
    • as_supervised:数据集是否有监督
import tensorflow_datasets as tfds

dataset, info = tfds.load('imdb_reviews/subwords8k', with_info = True,
                          as_supervised=True)

train_dataset, test_dataset = dataset['train'], dataset['test']
复制代码

5.1.2 对数据集进行操作:

  • encoder:可以将词语转成subword
tokenizer = info.features['text'].encoder
print('vocabulary size: {}'.format(tokenizer.vocab_size))
复制代码

运行结果:

vocabulary size: 8185
复制代码

5.1.3 接下来,我们测试一下对于一个句子来说tokenizer会把它变成什么样子:

  • 使用tokenizer.encode方法对句子进行处理
  • 使用tokenizer.decode在把句子转回去
sample_string = 'Tensorflow is cool.'
tokenized_string = tokenizer.encode(sample_string)
print('Tokenized string is {}'.format(tokenized_string))

original_string = tokenizer.decode(tokenized_string)
print('Original string is {}'.format(original_string))

assert original_string == sample_string
复制代码

运行结果:

Tokenized string is [6307, 2327, 2934, 7961, 9, 2724, 7975]
Original string is Tensorflow is cool.
复制代码

看一下句子对应的字母是什么:

for token in tokenized_string:
    print('{} --> {}'.format(token, tokenizer.decode([token])))
复制代码

运行结果:

6307 --> Ten
2327 --> sor
2934 --> flow
7961 -->  
9 --> is 
2724 --> cool
7975 --> .
复制代码

5.1.4 对数据集进行变换,包括shuffle,batch

padded_batch:对于每一个batch分别做padding,找到batch中最长的样本,根据最长的样本做padding,当然,你也可以自己设置最长的长度

buffer_size = 10000
batch_size = 64

print(tf.compat.v1.data.get_output_shapes(train_dataset))
print(tf.compat.v1.data.get_output_shapes(test_dataset))

train_dataset = train_dataset.shuffle(buffer_size)
train_dataset = train_dataset.padded_batch(batch_size, tf.compat.v1.data.get_output_shapes(train_dataset))
test_dataset = test_dataset.padded_batch(batch_size, tf.compat.v1.data.get_output_shapes(test_dataset))
复制代码

5.1.5 建立模型:

vocab_size = tokenizer.vocab_size
embedding_dim = 16
batch_size = 512

bi_rnn_model = keras.models.Sequential([
    keras.layers.Embedding(vocab_size, embedding_dim),
    keras.layers.Bidirectional(
        keras.layers.LSTM(
            units = 32, return_sequences = False)),
    keras.layers.Dense(32, activation = 'relu'),
    keras.layers.Dense(1, activation='sigmoid'),
])

bi_rnn_model.summary()
bi_rnn_model.compile(optimizer = 'adam',
                     loss = 'binary_crossentropy',
                     metrics = ['accuracy'])
复制代码

运行结果:

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding (Embedding)        (None, None, 16)          130960    
_________________________________________________________________
bidirectional (Bidirectional (None, 64)                12544     
_________________________________________________________________
dense (Dense)                (None, 32)                2080      
_________________________________________________________________
dense_1 (Dense)              (None, 1)                 33        
=================================================================
Total params: 145,617
Trainable params: 145,617
Non-trainable params: 0
_________________________________________________________________
复制代码

训练模型,打印学习曲线:

history = bi_rnn_model.fit(
    train_dataset,
    epochs = 10,
    validation_data = test_dataset)
def plot_learning_curves(history, label, epochs, min_value, max_value):
    data = {}
    data[label] = history.history[label]
    data['val_'+label] = history.history['val_'+label]
    pd.DataFrame(data).plot(figsize=(8, 5))
    plt.grid(True)
    plt.axis([0, epochs, min_value, max_value])
    plt.show()
    
plot_learning_curves(history, 'accuracy', 10, 0, 1)
plot_learning_curves(history, 'loss', 10, 0, 1)
复制代码

运行结果:

W`HPCFDHH65}ZLPM_UFSZCV.png

在tfds中导入的数据和keras中导入的数据有些区别,所以并不能和之前的模型进行对比,但是经过图像可以发现,我们的模型过拟合现象比之前要弱一些。

因而,我们可以看到,通过使用subword这种机制可以是词表变小,词表变小参数就会变少,参数变少过拟合的风险就变低了一些。

9JQ4ZCQY3M({Q$KEN%9BFQX.png

收藏成功!
已添加到「」, 点击更改