• 使用TensorFlow训练循环神经网络语言模型

    读了将近一个下午的TensorFlow Recurrent Neural Network教程,翻看其在PTB上的实现,感觉晦涩难懂,因此参考了部分代码,自己写了一个简化版的Language Model,思路借鉴了Keras的LSTM text generation。 代码地址:Github 转载请注明出处:Gaussic 语言模型 Language Model,即语言模型,其主要思想是,在知道前一部分的词的情况下,推断出下一个最有可能出现的词。例如,知道了 The »

    基于LSTM的语言模型

    转载请注明出处:https://gaussic.github.io 基于 Keras 的 LSTM_text_generation 的例子,实现中文的语言模型。 代码在这里:Github fancywriter 原先的例子是字符级别的,使用了尼采的作品作为训练集,总的词汇只有 57 个,因而整个网络相对简单,且训练起来速度比较快。 但是使用中文训练,且加大训练集大小时,词汇表明显增大。 »