以下是常见的生成式模型分类及示例:
一、传统生成式模型
-
朴素贝叶斯模型
基于贝叶斯定理,适用于文本分类、垃圾邮件过滤等任务,通过计算条件概率进行分类。
-
隐马尔可夫模型(HMM)
用于序列数据建模,如语音识别、词性标注等,通过隐藏状态和观测值的联合分布进行建模。
-
高斯混合模型(GMM)
通过多个高斯分布的线性组合拟合复杂数据分布,常用于聚类、图像分割等任务。
-
线性判别分析(LDA)
虽然LDA主要用于主题模型(如文档分类),但本质上是一种生成式模型,通过学习数据的分布生成类标签。
二、深度学习生成式模型
-
生成对抗网络(GAN)
由生成器和判别器组成,通过对抗训练生成逼真图像、音频等数据。
-
变分自编码器(VAE)
通过编码器-解码器结构学习数据分布,可生成图像、文本等,常用于生成式任务。
-
扩散模型(Diffusion Models)
通过逐步添加噪声并反向去噪训练,生成高质量图像,近年来在图像生成领域表现突出。
三、其他生成式模型
-
深度信念网络(DBN)
属于生成式神经网络,通过受限玻尔兹曼机(RBM)构建分层结构,用于特征学习和生成。
-
自回归模型
通过预测序列的后续元素生成数据,如语言模型、时间序列预测等。
四、判别式模型对比
需注意与判别式模型的区别:判别式模型(如SVM、逻辑回归)直接建模条件概率 $P(y|x)$,而生成式模型先建模联合概率分布 $P(x,c)$ 再推导 $P(c|x)$。常见判别式模型还包括线性回归、决策树、支持向量机(SVM)等。
以上模型可根据具体任务选择,例如文本生成优先考虑GPT系列或VAE,图像生成推荐GAN或Diffusion模型。