语言模型练习题

XiaoXianYue原创2025年4月1日大约 3 分钟

01

给定句子： John reads a book, 基于2元文法3元文法

二元文法：

(<BOS>, John)  
(John, reads)  
(reads, a)  
(a, book)  
(book, <EOS>)

三元文法：

(<BOS>, John, reads)  
(John, reads, a)  
(reads, a, book)  
(a, book, <EOS>)

02

给定句子：<BOS> John reads a book <EOS>, 基于2元文法求概率

P (<BOS> John reads a book <EOS>) = P (John ∣ <BOS>) \cdot P (reads ∣ John) \cdot P (a ∣ reads) \cdot P (book ∣ a) \cdot P (<EOS> ∣ book)

进一步展开就是：

P (<BOS> John reads a book <EOS>) = \frac{P (<BOS>, John)}{P (<BOS>)} \cdot \frac{P (John, reads)}{P (John)} \cdot \frac{P (reads, a)}{P (reads)} \cdot \frac{P (a, book)}{P (a)} \cdot \frac{P (book, <EOS>)}{P (book)}

03

给定汉语：他是研究生物的，采用二元文法写概率

<BOS> 他 是 研究 生物 的 <EOS>

P (seg) = P (他 ∣ <BOS>) \cdot P (是 ∣ 他) \cdot P (研究 ∣ 是) \cdot P (生物 ∣ 研究) \cdot P (的 ∣ 生物) \cdot P (<EOS> ∣ 的)

P (C_{string}) = P (他 ∣ <BOS>) \cdot P (是 ∣ 他) \cdot P (研 ∣ 是) \cdot P (究 ∣ 研) \cdot P (生 ∣ 究) \cdot P (物 ∣ 生) \cdot P (的 ∣ 物) \cdot P (<EOS> ∣ 的)

04

给定拼音串：ta shi yan jiu sheng wu de 基于二元文法算 P(Cstring)

P (C_{string}) = P (他 ∣ <BOS>) \cdot P (是 ∣ 他) \cdot P (研 ∣ 是) \cdot P (究 ∣ 研) \cdot P (生 ∣ 究) \cdot P (物 ∣ 生) \cdot P (的 ∣ 物) \cdot P (<EOS> ∣ 的)

P (C_{s t r i n g}) = P (他 ∣ <BOS>) \cdot P (是 ∣ 他) \cdot P (研究 ∣ 是) \cdot P (生物 ∣ 研究) \cdot P (的 ∣ 生物) \cdot P (<EOS> ∣ 的)

P (C_{s t r i n g}) = P (他 ∣ <BOS>) \cdot P (使 ∣ 他) \cdot P (烟 ∣ 使) \cdot P (酒 ∣ 烟) \cdot P (生 ∣ 酒) \cdot P (雾 ∣ 生) \cdot P (的 ∣ 雾) \cdot P (<EOS> ∣ 的)

…

05

给定语料库：
{<BOS>John reads Moby Dick EOS}
{<BOS>Mary reads a different book<EOS>}
{<BOS>She reads a book by Cher <EOS>}
求 John reads a book 的概率

P (<BOS> John reads a book <EOS>) = P (John ∣ <BOS>) \cdot P (reads ∣ John) \cdot P (a ∣ reads) \cdot P (book ∣ a) \cdot P (<EOS> ∣ book)

P (John reads a book) = \frac{1}{3} \cdot \frac{1}{1} \cdot \frac{2}{3} \cdot \frac{1}{2} \cdot \frac{1}{2}

06

Cher reads a book

P (Cher reads a book) = \frac{0}{3} \cdot \frac{0}{1} \cdot \frac{2}{3} \cdot \frac{1}{2} \cdot \frac{1}{2}

加一平滑：

$P (Cher ∣ <BOS>)$ ：

= \frac{0 + 1}{3 + 13} = \frac{1}{16}

$P (reads ∣ Cher)$ ：

= \frac{0 + 1}{1 + 13} = \frac{1}{14}

$P (a ∣ reads)$ ：

= \frac{2 + 1}{3 + 13} = \frac{3}{16}

$P (book ∣ a)$ ：

= \frac{1 + 1}{2 + 13} = \frac{2}{15}

$P (<EOS> ∣ book)$ ：

= \frac{1 + 1}{2 + 13} = \frac{2}{15}

P (Cher reads a book) = \frac{1}{16} \cdot \frac{1}{14} \cdot \frac{3}{16} \cdot \frac{2}{15} \cdot \frac{2}{15}