生成式语言模型主要包括以下几类：

1. 基于循环神经网络（RNN）的模型

   • 通过递归结构处理序列数据，逐词预测生成文本。典型代表包括RNN和LSTM，适用于短序列生成任务。

2. 基于Transformer的模型

   • 采用自注意力机制，能够高效处理长序列数据，是当前主流生成式模型。代表包括GPT系列（如GPT-3）、BERT系列（如XLM-RoBERTa）和CTRL，具备强大的语言理解和生成能力。

3. Seq2Seq模型

   • 通过编码器-解码器结构实现文本生成，常见于机器翻译等任务。解码过程采用贪婪解码、束搜索或采样解码策略。

4. 大语言模型（LLM）

   • 基于Transformer架构，通过海量数据预训练，生成自然流畅的文本。代表模型包括GPT-3、DeepSeek等，应用场景广泛。

5. 其他相关模型

   • 包括生成对抗网络（GAN）用于图像生成，变分自编码器（VAE）用于数据增强等，但非直接针对自然语言生成。

总结 ：生成式语言模型以Transformer为核心架构，结合RNN、Seq2Seq等结构，通过预训练和概率建模实现文本生成。当前主流模型如GPT系列和BERT系列在性能和应用广度上占据领先地位。