支持上下文建模的词嵌入技术主要包括基于RNN的ELMo、基于Transformer的BERT/RoBERTa/GPT系列等模型。这些模型通过动态捕捉单词在不同语境中的语义变化，显著提升了自然语言处理任务的表现。以下是关键技术的分点解析：
-
ELMo（Embeddings from Language Models）
采用双向LSTM结构，从句子两侧提取上下文信息，同一单词在不同语境下生成不同向量。例如，“bank”在“river bank”和“bank account”中会获得差异化表示，有效解决多义词问题。 -
BERT（Bidirectional Encoder Representations from Transformers）
基于Transformer编码器，通过掩码语言建模（MLM）和下一句预测（NSP）任务预训练。其核心优势在于双向上下文捕捉，如“苹果”在“吃苹果”和“苹果手机”中的向量会随上下文动态调整。 -
GPT系列（如GPT-3）
虽为单向模型，但通过Transformer解码器和海量数据训练，仍能生成高质量上下文相关嵌入。适用于生成式任务，但语境理解偏向左侧上下文。 -
RoBERTa与ALBERT
RoBERTa优化了BERT的训练策略（如移除NSP、动态掩码），ALBERT则通过参数共享降低计算成本。两者均强化了上下文建模的效率和泛化能力。 -
跨语言模型（如XLM）
扩展了上下文建模至多语言场景，通过共享嵌入空间实现不同语言的语义对齐，例如中英文单词在相似语境下获得接近的向量表示。
总结：上下文建模已成为现代词嵌入的核心能力，选择时需权衡任务需求（如双向/单向）、计算资源及多语言支持。对于需要深度语义理解的场景，BERT或RoBERTa是当前的主流选择。