自然语言处理（NLP）的基本技术主要包括以下五个核心模块，涵盖从文本预处理到语义分析的全流程：

一、分词（Tokenization）

• 定义 ：将连续文本切分成有意义的词汇单元（词、短语或符号），是NLP预处理的基础。

• 方法 ：

  • 基于词典 ：通过匹配预定义词典进行分词，速度快但受限于词典覆盖范围。

  • 基于统计 ：利用语料库统计词频、条件概率等，可处理未登录词。

  • 基于深度学习 ：如LSTM、Transformer等模型，通过上下文自动学习分词规则。

二、词性标注（Part-of-Speech Tagging）

• 定义 ：为每个词汇分配词性标签（如名词、动词），辅助句法分析和语义理解。

• 方法 ：

  • 传统统计 ：使用HMM、CRF等模型基于特征统计。

  • 深度学习 ：通过Seq2Seq模型或LSTM捕捉上下文信息。

三、命名实体识别（Named Entity Recognition, NER）

• 定义 ：从文本中识别出人名、地名、组织名等具有特定意义的实体。

• 方法 ：

  • 规则模板 ：基于正则表达式匹配。

  • 机器学习 ：使用CRF、LSTM等模型。

  • 深度学习 ：通过Transformer模型实现端到端学习。

四、语法分析（Syntax Parsing）

• 定义 ：分析句子结构，确定词与词之间的依存关系。

• 方法 ：

  • 基于规则 ：人工编写语法规则。

  • 基于统计 ：利用依存句法分析工具。

  • 深度学习 ：使用Transformer等模型自动解析语法。

五、文本向量化（Text Embedding）

• 定义 ：将离散文本转换为稠密向量，保留语义关系，支持后续机器学习任务。

• 技术 ：

  • Word2Vec ：基于词频的分布式词向量。

  • GloVe ：结合全局词频的向量表示。

  • Transformer Embeddings ：通过上下文自适应生成向量。

总结 ：以上技术共同构成NLP的基础框架，分词和向量化是预处理核心，而词性标注、命名实体识别及语法分析则用于深入理解文本结构与语义，最终通过深度学习模型实现智能应用。