NLP 分类

Introduction

Q1

The developmental history of natural language processing technologies （Focus on mastering the three major tasks of natural language processing, as well as the earliest natural language processing task.）

Rule-based (symbolic) approach
Statistical approach (traditional machine learning)
Connectionist approach
Pre-Training

图模型

image-20250410141735393

🌟 图模型（Graphical Models）总述：

图模型是一类用图结构来表示变量之间依赖关系的概率模型。

节点（Node）：代表随机变量
边（Edge）：表示变量之间的条件依赖关系

1️⃣ 有向图模型（Directed Graphical Models）

基于BERT的分词模型

image-20250414113933731

1. Experiment Design

Since Chinese lacks clear word boundaries, word segmentation is crucial in natural language processing (NLP). This article explores how to implement Chinese word segmentation tasks based on the BERT model.

语言模型练习题

01

给定句子： John reads a book, 基于2元文法3元文法

二元文法：

(<BOS>, John)  
(John, reads)  
(reads, a)  
(a, book)  
(book, <EOS>)

语言模型

1. 基本概念

1.1 文法

n元文法（n-gram）模型

例子：

1.3 使用二元文法例子

image-20250331094603921

二元文法样本空间是
效果比一元文法强

2. 参数估计

重要！！！！！

示例讲解

image-20250331095009414

语料库和语言学

语料库名称	研发机构	主要特点 / 作用
BCC现代汉语语料库	北京语言大学	包含报刊、文学、微博、科技等多领域语料，支持分词、词性标注，适用于语言学研究和NLP任务410。
BiCovid	公益组织（国际合作）	提供新冠肺炎疫情相关双语文本检索，帮助翻译志愿者获取权威疫情术语对照4。
BNC（英国国家语料库）	牛津大学、朗文等	收录现代英式英语文本，涵盖口语和书面语，适用于英语语言学研究4。
COCA（美国当代英语语料库）	Brigham Young University	动态更新，包含小说、口语、学术文章等，适用于新词研究和英语教学4。
LIVAC泛华语地区共时语料库	香港城市大学等	收集京沪台港澳新等地华语媒体语料，用于对比不同地区汉语使用差异4。
万卷·丝路多语言语料库	上海人工智能创新中心	支持泰语、俄语、阿拉伯语等5种语言，用于智能翻译、文旅导览，强调本土化表达6。
具身智能语料专项工程	库帕思科技等	结合文本、图像、音频训练人形机器人，提升环境交互能力69。
HSK动态作文语料库	北京语言大学	收录外国学生HSK考试作文，用于汉语中介语研究和二语教学分析1011。
财跃星辰金融语料库	财跃星辰（金融科技公司）	整合财经新闻、投研报告，用于AI金融风险评估和智能投研613。
汉语中介语语料库	北京语言大学	全球最大汉语学习者语料库，用于对外汉语教学研究，含笔语、口语、多模态数据1011。

NLP习题课

状态图咋画？【终止状态两个圈】

最左最右推导：

最左推导就是总是推最左边，最右推导一样

正则推导：

第一部分：生成
- 由规则可知，字符串必须以一个开头。
- 规则允许递归地产生任意数量的：最终，必须转换为以结束的生成阶段，并进入的生成。
第二部分：生成
- 规则确保变为 至少两个 ，然后递归地调用：
- 规则允许生成额外的，直到最终结束：其中，是因为贡献了两个，且至少生成一个。

形式语言与自动机及其在NLP中的应用

1. 基本概念

树的概念（省略）
字符串（string）：
- 定义：假定是字符的有限集合，由中字符相连而成，不包括任何字符的字符串称为空串，记作 ε：Epsilon（艾普西龙） |ε|= 0
- 全体字符：
闭包：

正则式：必考

XY：表示两个正规表达式和的连接（concatenation），即先匹配再匹配。例如，如果，，那么。X·Y：同样表示连接，点号（·）是显式的连接符号，但一般可省略，因此 XY = X·Y。
直观来说，X | Y 代表的是由或生成的字符串集合中的任何一个。

NLP 课堂实践 01

下载数据集

import os
import zipfile
import requests

# ICWB2 数据集下载地址
url = "http://sighan.cs.uchicago.edu/bakeoff2005/data/icwb2-data.zip"
save_path = "icwb2-data.zip"
extract_folder = "icwb2-data"

# 下载数据集
if not os.path.exists(save_path):
    print("正在下载 ICWB2 数据集...")
    response = requests.get(url, stream=True)
    with open(save_path, "wb") as f:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)
    print("下载完成！")

# 解压数据集
if not os.path.exists(extract_folder):
    print("正在解压数据集...")
    with zipfile.ZipFile(save_path, "r") as zip_ref:
        zip_ref.extractall(extract_folder)
    print("解压完成！")

print("ICWB2 数据集准备完成！")

NLP 课堂笔记 01

1. 什么是自然语言处理？

In the broadest sense,NLP refers to any program that automatically processes human languages.

Introduction

Q1

🌟 图模型（Graphical Models）总述：

1️⃣ 有向图模型（Directed Graphical Models）

1. Experiment Design

01

1. 基本概念

1.1 文法

1.3 使用二元文法例子

2. 参数估计

示例讲解

1. 基本概念

正则式：必考

下载数据集

1. 什么是自然语言处理？

2. Tasks

2.1 Computational Linguistic tasks （理解语言）

1. Phonology（音系学）