1. NLP 为什么比视觉难
| 计算机视觉 | 自然语言处理 | |
|---|---|---|
| 信息完整性 | 图片包含所有必要信息 | 文本蕴含的内容可能在文本之外 |
| 门槛 | 三岁小孩/动物都能识别 | “色即是空”四字蕴含深意 |
也正因如此，NLP 一旦突破，爆发出的能量远超视觉任务——大语言模型带来的变革就是证明。
2. 四个发展阶段
人工规则 → 概率统计 → 神经网络 → 大语言模型
(1950-1980) (1980s-2000s) (2000s-2010s) (2020s-)3. 阶段一：人工规则（1950-1980）
思想：句子由词汇通过语法规则组合，精确建模词法和句法就能理解语言。
为什么失败
| 障碍 | 例子 |
|---|---|
| 歧义无处不在 | “大胜”和”大败”这对反义词竟指向同一结果（中国队赢） |
| 结构嵌套难解 | “一行行行行行”依赖多音字和深层结构 |
| 规则爆炸失控 | 语言充满例外、习语、动态变化，穷举规则不可能 |
代表系统：ELIZA 聊天机器人、SHRDLU 积木世界。
结论：基于符号逻辑和人工规则的道路是死胡同，无法处理语言的丰富性、模糊性和创造性。
4. 阶段二：概率与统计（1980s 末-2000s 初）
革命性观点：语言的规律隐藏在海量文本数据本身之中。
核心：统计语言模型
分析词序列在大规模语料中的频率，预测下一个词的概率：
例：出现”我爱”后，接”你”的概率 0.1，接”玩”的概率 0.03……
带来的突破
- 机器翻译：基于词/短语共现统计，翻译流畅度飞跃
- 语音识别：声学模型 + 语言模型，准确率大幅提高
- 词性标注、命名实体识别：远超规则系统
统计方法第一次让 NLP 从真实数据中”学习”模式，走向实用化。
5. 阶段三：神经网络（2000s 中-2010s 末）
统计方法特征工程复杂，且难捕捉长距离依赖和深层语义。
关键里程碑
| 时间 | 里程碑 | 意义 |
|---|---|---|
| — | 神经语言模型（NNLM） | 用神经网络学习词的分布式表示（词向量） |
| — | Word2Vec | 词变成向量空间中的点，语义相近的词向量接近（土豆≈马铃薯） |
| — | RNN / LSTM / GRU | 引入记忆单元处理序列，建模上下文 |
| 2017 | Transformer | 抛弃 RNN 顺序处理，用自注意力并行计算 |
Transformer 的突破
- 自注意力机制：对序列中所有元素的关系并行建模
- 捕捉长距离依赖能力强
- 并行训练效率高
- 为后续 NLP 爆发奠定基础
6. 阶段四：大语言模型（2020s-）
Transformer 架构 + 超大规模参数 + 海量数据 + 庞大算力 = 大语言模型（LLM）
ChatGPT 展现的能力
| 能力 | 说明 |
|---|---|
| 泛化能力 | 不限于特定任务 |
| 上下文学习（In-Context Learning） | 通过示例快速适应新任务 |
| 指令遵循（Instruction Following） | 理解并执行自然语言指令 |
意义
- 传统 NLP 任务（分类、翻译、摘要、生成）被统一到一个模型
- 能力超越 NLP，扩展到数学、逻辑、跨模态（图文）
- 让通用人工智能看起来不再遥远
7. 总结
NLP 演进逻辑：不断从"人工设计"走向"从数据学习"
人工规则 → 死胡同（歧义、嵌套、规则爆炸）
概率统计 → 首次从数据学模式（统计语言模型）
神经网络 → 词向量 + RNN + Transformer（自动提取特征）
大语言模型 → 统一所有任务，展现通用智能雏形
关键转折：
Word2Vec：词从符号 → 向量（语义可计算）
Transformer(2017)：自注意力，并行 + 长距离依赖
ChatGPT：规模 + 数据 + 算力的奇迹