• Name: Xiao XianYue
• Class: Natural Language Processing 01 / Academic 2

1. Experiment Design

Chinese word segmentation is a fundamental task in natural language processing (NLP) and plays a crucial role in understanding and processing Chinese text. Unlike English, where words are separated by spaces, Chinese sentences require algorithms to determine word boundaries. Accurate segmentation improves the performance of downstream tasks such as machine translation, information retrieval, and text classification, making it a key research focus in both academia and industry. This experiment employs the BERT (Bidirectional Encoder Representations from Transformers) model to address Chinese word segmentation, leveraging its powerful contextual modeling capabilities to enhance segmentation accuracy.

1. 思维链 Prompt

你是一位专业的时间管理教练，请根据以下信息为我制定今日计划：

• 课程表：[用户输入今日课程时间] ——> 连入教务系统获得，教务系统API更新频率：每30分钟同步（标注调课/临时会议等突发变更）

• 待办事项：[用户输入任务列表，如"大数据作业""预习英语""洗衣服"] ——> 可以手动预设，也可以根据以往信息推荐，比如：完成昨天未完成的英语单词的积累。用户也可以定制自己的学习进度数据库，筛选每门课程的教学大纲和教学进度输入，提供分析数据。手动输入覆盖规则：用户手动输入的数据优先级高于自动同步数据

• 健康数据：[可选输入如"早餐吃了燕麦+香蕉""昨晚睡了6小时"] ——> 连入手机 健康类app，健康APP数据权限：需授权读取睡眠周期（深/浅睡眠比例）、步数、心率变异率(HRV)

• 历史数据：[如晚上失眠早上调整起床时间] —— 定制历史数据库，如心情，学习进度，身体状况

01

给定句子： John reads a book, 基于2元文法3元文法

二元文法：

(<BOS>, John)  
(John, reads)  
(reads, a)  
(a, book)  
(book, <EOS>)

Task 01

对网页相关信息.csv 进行分组,然后进行统计,filter()

分类

import pandas as pd
data = pd.read_csv('assignment_infowe.csv', encoding='gbk')

# Task 01 分组
group_data = data.groupby('分类')
for item in group_data:
    print(item)

Task 01

用concat(), merge(), join()结合各自具体的参数（axis, join, how)来完成数据的合并，

concat() 变化 join参数

数据

学生信息为：
    性别  年龄
张强  男  17
李娜  女  18
学生成绩为：
     语文  数学
张强  90  88
李娜  85  79
王浩  92  95

1. 基本概念

1.1 文法

• n元文法（n-gram）模型

• 例子：

1.3 使用二元文法例子

• 二元文法样本空间是
• 效果比一元文法强

2. 参数估计、

重要！！！！！

示例讲解

代码

import numpy as np
import pandas as pd

# Task 01: 创建 100x6 的 DataFrame，数值在 [-3, 3] 之间
df = pd.DataFrame(np.random.uniform(-3, 3, (100, 6)))

# Task 02: 统计汇总
print("数据统计：")
print(df.describe())

# Task 03: 取前六行
print("\n前6行数据：")
print(df.head(6))

# Task 04: 使用 count() 统计异常值
ab_low = df[df < -2].count()
ab_high = df[df > 2].count()

# 每列总异常值
ab_each_column = ab_low + ab_high
# 异常值总数
ab_total = ab_each_column.sum()

print("\n每列异常值数量：")
print(abnormal_each_column)
print(f"\n异常值总数：{abnormal_total}")

# Task 05: 替换
df_clipped = df.clip(lower=-2, upper=2)

# Task 06: 查看替换后的统计汇总
print("\n替换异常值后的数据统计：")
print(df_clipped.describe())

创建DataFrame数据

import pandas as pd
import numpy as np

# 创建包含缺失值的字典
data_dict = {
    '姓名': ['张三', '李四', '王五', '张三', None],  # None 表示缺失值
    '年龄': [25, 30, None, 25, 40],  # None 代表缺失值
    '城市': ['北京', '上海', '广州', None, '北京'],  # None 代表缺失值
    '工资': [7000, 8000, 9000, 7000, None]  # None 代表缺失值
}

# 将字典转换为 DataFrame
df = pd.DataFrame(data_dict)

状态图咋画？【终止状态两个圈】

最左最右推导：

• 最左推导就是总是推最左边，最右推导一样

正则推导：

• 第一部分：生成

  • 由规则 可知，字符串必须以一个 开头。
  • 规则 允许 递归地产生任意数量的 ： 最终， 必须转换为 以结束 的生成阶段，并进入 的生成。

• 第二部分：生成

  • 规则 确保 变为 至少两个 ，然后递归地调用 ：
  • 规则 允许 生成额外的 ，直到最终 结束： 其中， 是因为 贡献了两个 ，且 至少生成一个 。