01

给定句子： John reads a book, 基于2元文法3元文法

二元文法：

(<BOS>, John)  
(John, reads)  
(reads, a)  
(a, book)  
(book, <EOS>)

1. 基本概念

1.1 文法

• n元文法（n-gram）模型

• 例子：

1.3 使用二元文法例子

• 二元文法样本空间是
• 效果比一元文法强

2. 参数估计

示例讲解

状态图咋画？【终止状态两个圈】

最左最右推导：

• 最左推导就是总是推最左边，最右推导一样

正则推导：

• 第一部分：生成

  • 由规则 可知，字符串必须以一个 开头。
  • 规则 允许 递归地产生任意数量的 ： 最终， 必须转换为 以结束 的生成阶段，并进入 的生成。

• 第二部分：生成

  • 规则 确保 变为 至少两个 ，然后递归地调用 ：
  • 规则 允许 生成额外的 ，直到最终 结束： 其中， 是因为 贡献了两个 ，且 至少生成一个 。

1. 基本概念

• 树的概念（省略）

• 字符串（string）：

  • 定义：假定 是字符的有限集合，由 中字符相连而成，不包括任何字符的字符串称为空串，记作 ε：Epsilon（艾普西龙） |ε|= 0
  • 全体字符：

• 闭包：

正则式：必考

1. XY：表示两个正规表达式 和 的连接（concatenation），即先匹配 再匹配 。例如，如果 ，，那么 。X·Y：同样表示连接，点号（·）是显式的连接符号，但一般可省略，因此 XY = X·Y。
2. 直观来说，X | Y 代表的是由 或 生成的字符串集合中的任何一个。

下载数据集

import os
import zipfile
import requests

# ICWB2 数据集下载地址
url = "http://sighan.cs.uchicago.edu/bakeoff2005/data/icwb2-data.zip"
save_path = "icwb2-data.zip"
extract_folder = "icwb2-data"

# 下载数据集
if not os.path.exists(save_path):
    print("正在下载 ICWB2 数据集...")
    response = requests.get(url, stream=True)
    with open(save_path, "wb") as f:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)
    print("下载完成！")

# 解压数据集
if not os.path.exists(extract_folder):
    print("正在解压数据集...")
    with zipfile.ZipFile(save_path, "r") as zip_ref:
        zip_ref.extractall(extract_folder)
    print("解压完成！")

print("ICWB2 数据集准备完成！")

1. 什么是自然语言处理？

In the broadest sense,NLP refers to any program that automatically processes human languages.

从广义上讲，NLP 是指任何能够自动处理人类语言的程序。

2. Tasks

2.1 Computational Linguistic tasks （理解语言）

至少一个填空或者选择题

1. Phonology（音系学）