通过用户自定义词典来增强歧义纠错能力

[fxsjy]

你好，最近在用你的分词，发现
大连 美容美发 学校 中君 意是 你 值得 信赖 的 选择

这句话被错误地切分了，我查看了dict.txt和idf.txt都没有找到“中君”和“意是”这两个词，不知道为什么>>会有这样的错分呢？

能不能从理论上解释一下？

RE:

"大连美容美发学校中君意是你值得信赖的选择" 这句话首先会按照概率连乘最大路径来切割，因为单字有一定概率，而“中君意是”这四个字中不含词典中有的词，所以会被切割成单字：

即：大连/ 美容美发/ 学校/ 中/ 君/ 意/ 是/ 你/ 值得/ 信赖/ 的/ 选择/

然后我们认为“中/ 君/ 意/ 是/ 你/ ”这几个连续的单字 中可能有词典中没有的新词，所以再用finalseg来切一遍“中君意是你 ”，finalseg是通过HMM模型来做的，简单来说就是给单字大上B,M,E,S四种标签以使得概率最大。

很遗憾，由于训练数据的问题，finalseg最终得到的标签是：

中君 意是 你
B E B E S

即认为P(B)_P(中|B)_P(E|B)_P(君|E)_P(B|E)_P(意|B)_P(E|B)_P(是|E)_P(S|E)*P(你|S) 是所有可能的标签组合中概率最大的。

B: 开头
E:结尾
M:中间
S: 独立成词的单字

解决方案是在词典中补充“君意”这个词，并给予一个词频，不用太大，比如3即可。

==user.dict===

君意 3

==test.py==

encoding=utf-8

import sys
import jieba
jieba.load_userdict("user.dict")
print ", ".join(jieba.cut("大连美容美发学校中君意是你值得信赖的选择"))

==结果===
大连, 美容美发, 学校, 中, 君意, 是, 你, 值得, 信赖, 的, 选择

[fxsjy]

Bad Case: '江州/ 市/ 长江大桥/ 参加/ 了/ 长江大桥/ 的/ 通车/ 仪式'

目前这个方面的确还比较弱。

通过在自定义词典里提高“江大桥”的词频可以做到，但是设置多少还没有公式，词频越高则成词概率越大，不宜过大。

我是这样设置的：

==user.dict==

江大桥 20000

===test1.py======

#encoding=utf-8
import sys
sys.path.append("../")
import jieba
jieba.load_userdict("user.dict")
print ", ".join(jieba.cut("江州市长江大桥参加了长江大桥的通车仪式"))

==结果===
江州, 市长, 江大桥, 参加, 了, 长江大桥, 的, 通车, 仪式

[hitalex]

请问，在提供自定义词的时候，为什么还需要指定词频？这里的词频有什么作用？

[fxsjy]

@hitalex, 频率越高，成词的概率就越大。

比如"江州市长江大桥"，既可以是”江州/市长/江大桥“，也可以是”江州/市/长江大桥“。
假设要保证第一种划分的话，我们需要保证P(江州)_P(市长)_P(江大桥）> P(江州)_P(市)_P(长江大桥)

[fxsjy]

注意 自定义词典不要用Windows记事本保存，这样会加入BOM标志，导致第一行的词被误读。

[macknight]

通过在自定义词典里提高“江大桥”的词频可以做到，但是设置多少还没有公式，词频越高则成词概率越大，不宜过大。这里的“不宜过大”到底不宜大到什么程度，我看前面的词频也就2，3，4，怎么到“江大桥”的词频就要大到了20000？？这个难道不是过大？？

[fxsjy]

@macknight , 这个例子比较极端，因为”长江大桥“、”市长“这些词的频率都很高，为了纠正，才把”江大桥“的词频设置的很高。而对于一般的词典中没有的新词，大多数情况下不会处于有歧义的语境中，故词频也就2,3,4就够了。

[whille]

看到词库格式是： {word:frequency}，总样本字数是多少？添加新词的频率怎么设定？
比如之前没有的词，我在5k文本中找到了"瞄星人"这个词，freq：100。 词库中怎么设置freq？
后来我又在另外10k文本中，找到了"瞄星人":30. freq怎么修改？

[alsotang]

默认词库在这里：https://github.com/fxsjy/jieba/blob/master/jieba/dict.txt?raw=true

总样本字数？？你说的是词数吧？ wc -l 就好了。

一个词的举例：“一一列举 34 i”，这个词中，freq 就是 34 嘛，i 是词性。照着加进去就好。

[fxsjy]

@while，不用设置那么高。
只要能保证:
P(喵星人) =max{ P(喵)*P(星)*P(人), P(喵星)*P(人), P(喵)*P(星人), P(喵星人) }

[alsotang]

频率设个 4 就好了。

fxsjy comment:
是的，一般不用太大， 除非是歧义纠结的句子。

2013/4/10 Sun Junyi notifications@github.com

@while https://github.com/while，不用设置那么高。
只要能保证:
P(喵星人) =max{ P(喵)_P(星)_P(人), P(喵星)_P(人), P(喵)_P(星人), P(喵星人) }

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/14#issuecomment-16159512
.

[whille]

我想有陆续添加新词功能。 看源码里把freq取了log。 所以直接用了词频。 但是以后新的文本词频怎么整合，还想不明白？
看词库：https://github.com/fxsjy/jieba/blob/master/jieba/dict.txt?raw=true
#########
的 3188252 uj
...
龟甲 92 ns
#########
应该有个总txt长度的概念吧。

[alsotang]

我觉得你的 comment 里，标点符号用得特别传神。

在 2013年4月10日下午3:39，whille notifications@github.com写道：

我想有陆续添加新词功能。 看源码里把freq取了log。 所以直接用了词频。 但是以后新的文本词频怎么整合，还想不明白？

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/14#issuecomment-16159713
.

[fxsjy]

@whille, 如果你添加的词语特别多的话（因为会对分母造成影响），建议直接加到dict.txt里面，否则就用jieba.load_userdict好了（这里的分母还是用的dict.txt中的总词频和，为了性能并没有重新计算一遍）。